Scalabilità nelle interfacce di ricerca a faccette open source - Il caso di Exhibit

Transcript

1 POLITECNICO DI TORINO III Facoltà di Ingegneria Corso di Laurea in Ingegneria Informatica Tesi di Laurea Specialistica Scalabilità nelle interfacce di ricerca a faccette open source - Il caso di Exhibit Relatori: Prof. Fulvio Corno Dott. Dario Bonino Candidato: Antonino Geraci Settembre 2010

2 Indice 1 Introduzione Contesto Exhibit Criticità e Soluzioni Struttura della tesi Obiettivi 5 3 Stato dell arte Tecnologie di base Web Statico Web Dinamico Web Stumenti di Ricerca delle informazioni Paradigmi di ricerca delle informazioni Ricerca basata su classificazione gerarchica (ad albero) Ricerca basata su classificazione per keyword Ricerca basata su classificazione a faccette (multidimensionale) Motori di ricerca a faccette Exhibit Anatomia di un Exhibit Interfaccia verso l utilizzatore Funzionalità per il pubblicatore Esempio Architettura Logica di Exhibit Fasi principali di elaborazione dei dati Fase di Caricamento Fase di Ricerca Fase di Visualizzazione dei dati Analisi dei Punti Critici II

3 4.4.1 Fase di Caricamento Fase di Ricerca Fase di Visualizzazione dei dati Misurazioni a supporto Conclusioni Soluzione Tecnica Fasi principali di elaborazione dei dati Fase di caricamento e filtraggio Exhibit modalità Client-Server Lato Client Lato Server Implementazione Software Lato Client Lato Server Deployment Utilizzo Sperimentazione Condizioni di Test Insiemi di Test Risultati Compatibilità Performance Conclusioni e Sviluppi Futuri 74 Bibliografia 75 III

4 Capitolo 1 Introduzione 1.1 Contesto La ricerca di informazioni sul web è basata sull ormai standard paradigma di ricerca per parole chiave. Tuttavia, tale paradigma presenta limitazioni ed inconvenienti come la difficoltà nella formulazione delle query di ricerca, le problematiche relative all utilizzo di vocabolari diversi ma sovrapposti, l incapacità di formulare richieste terminologicamente consistenti per domini di conoscenza non noti. Tutte queste difficoltà sono diventate motivo fondante di nuovi e più efficienti sistemi di classificazione e ricerca delle informazioni. Al centro di questo panorama, in continua evoluzione, i sistemi di ricerca a faccette assumono un ruolo preponderante, offrendo nuove e più semplici funzioni in grado di soddisfare molteplici e diversificate esigenze di ricerca. La necessità di categorizzare l informazione, in modo da rendere più facile la ricerca di testi e oggetti, risale alla nascita delle biblioteche. La modalità tradizionale di catalogazione consisteva nella definizione di categorie distinte e nell assegnazione di ogni elemento alla voce più adatta. Il metodo decimale Dewey, utilizzato tuttora nella maggior parte delle biblioteche, si basa su una gerarchia predefinita di categorie. Per ciascun livello non possono essere presenti più di 10 categorie, identificate con numeri dallo 0 al 9. L unione dei numeri corrispondenti a ciascun livello fornisce il codice di catalogazione di un libro. La classificazione a faccette è un metodo di categorizzazione dell informazione che si pone come alternativa alla più tradizionale organizzazione per categorie gerarchiche. Essa sfrutta un sistema di attributi (metadati) ortogonali, rappresentanti ciascuno un aspetto o una proprietà persistente dell oggetto e capaci, nel loro insieme, di descrivere esaustivamente l oggetto stesso. Tali attributi sono dette faccette. La classificazione a faccette è ampiamente riconosciuta come strumento di categorizzazione in grado di offrire ricerche più efficaci ed intuitive, rispetto 1

5 1 Introduzione ai sistemi di classificazione tradizionali. L avvento della pubblicazione delle informazioni sul web ha enfatizzato l utilizzo di questa tecnica, intuendo i grandi vantaggi derivanti dalla sua applicazione in ambito digitale e determinando quindi l esigenza di avere motori di ricerca in grado di permettere questo nuovo tipo di fruizione delle informazioni [25]. Proprio per far fronte a questa necessità sono stati sviluppati numerosi progetti di ricerca con l obbiettivo di progettare e sviluppare nuovi motori in grado di consentire agli utenti di esplorare le pagine filtrando le informazioni disponibili utilizzando il metodo a faccette. Questi strumenti di ricerca mettono a disposizione degli utenti finali, che accedono alle pagine, metodi efficaci per: perfezionare a loro piacimento i risultati della ricerca, senza troppi vincoli. mostrare da subito una sintesi dei risultati di ricerca e come tali risultati siano ripartiti tra le faccette disponibili vedere in anteprima il risultato che si otterrà prima della selezione di un valore eliminare automaticamente le scelte che portano a risultati di ricerca vuoti scegliere liberamente se inserire o togliere filtri senza preoccuparsi dell ordine di selezione [9]. Tra i vari approcci disponibili il framework di Exhibit, utilizzato in questa tesi, si distingue per la semplicità di utilizzo e la facilità di integrazione su siti già esistenti. 1.2 Exhibit Exhibit è un framework sviluppato all interno del progetto SIMILE del Massachusetts Institute of Technology (MIT) ed ha l obbiettivo di ampliare le capacità di ricerca di un sito, fornendo all utente una navigazione più personalizzata basata sul paradigma di ricerca a faccette. Exhibit permette di filtrare ed incrociare diversi aspetti delle informazioni da ricercare corrispondenti a punti di vista differenti, ad esempio dal punto di vista geografico (con mappe) oppure rispetto al tempo (con linee temporali) e con diversi altri tipi di visualizzazioni. Exhibit nasce ed è progettato con l intento di consentire una facile integrazione di capacità avanzate di ricerca per contenuti esistenti. Per questo il framework adotta una realizzazione completamente client side e una definizione delle faccette (JSON), accessibile ad utenti con basse competenze tecniche (semplice editing di pagine HTML) e strutturata in modo da consentire una facile definizione dei contenuti da ricercare. 2

6 1 Introduzione Uno degli aspetti importanti di Exhibit è la capacità di ridurre sensibilmente il gradino di accesso a tecniche avanzate di ricerca permettendo la creazione di strumenti di ricerca senza coinvolgere figure professionali come amministratori di Database o programmatori web. 1.3 Criticità e Soluzioni Exhibit si basa su di un approccio completamente client-side in cui tecniche standard quali HTML, CSS e AJAX vengono combinate e coordinate in modo da massimizzare l interattività e la facilità di integrazione delle funzionalità di ricerca a faccette che esso offre. Tuttavia la scelta di lavorare completamente sul lato client limita la scalabilità del framework e la sua capacità di trattare grandi moli di dati. Tali caratteristiche sono infatti direttamente dipendenti dall efficienza dell interprete Javascript offerto dai singoli browser. Sfortunatamente, le prestazioni dei motori Javascript sono fortemente variabili e comunque limitate, sia rispetto alla velocità di esecuzione che alla gestione in memoria di grandi basi dati. Questo fa sì che il tempo di attesa per l utente aumenti in modo proporzionale al crescere del numero di elementi da ricercare. Questa tesi si propone di variare l architettura di Exhibit nel modo meno invasivo possibile, consentendo un più efficace trattamento di grandi moli di dati, ma preservando al contempo la flessibilità e la compatibilità con il tool originale. Per fare ciò, è necessario agire su tre fronti ben definiti: progettazione : analizzare l architettura interna di Exhibit individuando i punti di accesso alle informazioni da ricercare. modifica : variare la struttura di Exhibit delegando lo sforzo computazionale ad un server remoto e mantenendo sul lato client la logica e la parte di rendering delle interfacce, nonchè una parte di elaborazione delle informazioni che sono più direttamente legate all interazione con l utente (ad esempio la selezione delle faccette e l aggiornamento dei contatori). verifica e validazione : progettare un insieme di test comparativo, in cui si confrontino le prestazioni dell architettura originale di Exhibit e dell architettura che viene qui proposta, su set di dati da ricercare di dimensioni crescenti, a partire da 100 elementi per finire con set di dimensioni pari a e più elementi. 1.4 Struttura della tesi I capitoli successivi di questa tesi tratteranno più nel dettaglio le seguenti tematiche: 3

7 1 Introduzione Il Capitolo 2 (Obiettivi), partendo dai punti di criticità presenti in Exhibit, esporrà come questa tesi si propone di trovare una soluzione al problema, variando l architettura attuale di Exhibit. Il Capitolo 3 (Stato dell Arte) descriverà il panorama dei software di ricerca a faccette come Exhibit, confrontando gli aspetti di ciascuno ed evidenziando vantaggi e svantaggi nei loro utilizzi. Il Capitolo 4 (Exhibit) approfondirà i moduli logici che compongono il motore di ricerca Exhibit, e le relative funzioni. Il Capitolo 5 (Soluzioni tecniche) definirà la nuova architettura di Exhibit proposta in questa tesi. Il Capitolo 6 (Implementazione) indicherà più nel dettaglio le modifiche apportate al framework e le relative scelte implementative. Il Capitolo 7 (Sperimentazione) descriverà i test effettuati ed i risultati ottenuti, discutendone la rilevanza e rispondenza con i requisiti progettuali iniziali. Il Capitolo 8 (Conclusioni e Sviluppi Futuri) analizzerà in prospettiva i risultati della sperimentazione, fornendo spunti per possibili evoluzioni future. 4

8 Capitolo 2 Obiettivi Questa tesi ha l obiettivo di modificare l architettura di Exhibit, ottimizzandola per elaborare grandi moli di informazioni e mantenendone, allo stesso tempo, la semplicità di utilizzo e di integrazione che costituiscono il maggior punto di forza del framework stesso. Il fine ultimo è la realizzazione di una architettura migliorata in grado di ottenere tempi di caricamento della pagina e di elaborazione delle informazioni del tutto paragonabili a quelli che si avrebbero con un Exhibit standard, ma permettendo la ricerca di informazioni in quantità significativamente superiori. Ciò si traduce in una migliore esperienza utente perchè, a parità di tempo di attesa, si possono trattare più dati. Ad oggi, l interazione di Exhibit con il server si limita alla richiesta dei dati da ricercare, lasciando al client : (a) la scansione dei dati ( tipicamente memorizzati in formato JSON 1 ) (b) la loro analisi (c) e la determinazione dei valori dei risultati delle faccette da mostrare all utente. Essenzialmente il browser si occuperà di prendere in carico tutti i dati utilizzabili dal motore di ricerca e di effettuare l analisi di essi al suo interno, al caricamento della pagina e ad ogni successiva interazione con l utente. Tutto il peso dell elaborazione dei dati, da mostrare nella pagina web, grava quindi sul browser che, conseguentemente, offre un interazione che rallenta e diventa sempre meno in tempo reale a mano a mano che aumentano i dati coinvolti. La nuova architettura di Exhibit che si propone in questa tesi sposta sul Server il compito più gravoso di elaborare i dati delegando al client l elaborazione di 1 JSON (JavaScript Object Notation) è un semplice formato per lo scambio di dati. Per le persone è facile da leggere e scrivere, mentre per le macchine risulta facile da generare e analizzare. JSON è un formato di testo completamente indipendente dal linguaggio di programmazione, ma utilizza convenzioni conosciute dai programmatori di linguaggi della famiglia del C, come C, C++, C#, Java, JavaScript, Perl, Python, e molti altri. Questa caratteristica fa di JSON un linguaggio ideale per lo scambio di dati. [12] 5

9 2 Obiettivi un sottoinsieme di informazioni di dimensioni sostanzialmente costanti e predefinibili. Nonostante questo sistema limiti il compito del browser al rendering delle informazioni e ad una parziale e limitata elaborazione delle stesse, rendendo l architettura generale più simile a quella di un motore server-side, lo spostamento del carico sul server consente di superare lo svantaggio che caratterizza Exhibit, quale la difficoltà di gestire grosse moli di dati. La soluzione proposta in questa tesi (Figura 2.1) ha il vantaggio di offrire questi miglioramenti, mantenendo invariata l architettura di rendering di Exhibit, garantendo quindi la semplicità di utilizzo e la piena compatibilità con i moduli di interfaccia attualmente disponibili, anche di terze parti. Il raggiungimento dell obbiettivo di questa tesi, verrà validato mediante test sperimentali che coinvolgono l analisi comparativa delle prestazioni dell Exhibit originale e dell Exhibit modificato, con riferimento a insiemi di test basati su informazioni generate automaticamente con dimensioni variabili da 1000 a oltre elementi. Il risultato atteso è che, superata una certa soglia dell ordine delle poche migliaia di dati da trattare, l Exhibit originale raggiunga il punto di saturazione e crolli drasticamente in termini di prestazioni, mentre la soluzione proposta dovrebbe preservare le caratteristiche di prontezza e di velocità nel trattamento dei dati che sono tipiche di moli di dati decisamente più ridotte. Figura 2.1. Obiettivo della Tesi 6

10 Capitolo 3 Stato dell arte Exhibit è basato sul forte utilizzo delle seguenti tecnologie di base: (a) HTML (b) Javascript e DOM, (c) e Ajax. Le seguenti sezioni forniranno i principi base necessari ad affrontare in modo efficace i capitoli più tecnici della tesi. 3.1 Tecnologie di base Il web ha come caratteristica fondamentale il continuo aggiornamento delle informazioni in esso pubblicate. Tale aggiornamento è dovuto da un lato all incessante evoluzione delle tecnologie che si muovono al suo interno, dall altro al perenne flusso di informazioni che provengono da molteplici canali. Grazie a questa sua peculiarità, il web è diventato uno degli strumenti di comunicazione più importanti dei giorni nostri. L evoluzione storica del web può essere organizzata in tre fasi principali, ciascuna caratterizzata dall alternarsi di nuove tecnologie che si affiancano ed integrano quelle già esistenti. Queste tre fasi sono comunemente note come (a) Web statico, (b) Web dinamico (c) e Web Web Statico Il Web originale è definito Web Statico. Esso è costituito da pagine HTML puramente statiche ovvero pensate per presentare informazioni tipicamente non modificabili. I siti web basati su questo paradigma sono la prima tipologia di siti apparsa sul web. Essi sono relativamente semplici da realizzare, hanno un contenuto statico in cui le pagine, una volta definite, generalmente non vengono modificate. 7

11 3 Stato dell arte HTML La chiave della condivisione di informazioni presenti in rete è, in questa fase, l HTML (HyperText Mark-Up Language). HTML è un linguaggio di markup definito dal World Wide Web Consortium (W3C) tramite un processo di Recommendations, la cui versione attuale è HTML 5 [17]. Una pagina web è formata fondamentalmente da due elementi: i contenuti veri e propri e la formattazione ovvero l aspetto con cui i contenuti sono mostrati all utente. Il linguaggio (X)HTML, ossia l HTML nella sua forma basata su sintassi XML, ha come obiettivo la gestione dei contenuti, la cui struttura viene specificata mediante l utilizzo di tag diversi. Ogni tag assegna un ruolo semantico diverso alle informazioni che delimita. L assunto base del linguaggio (X)HTML è che la struttura semantica del contenuto viene definita dal codice (X)HTML, mentre la formattazione viene delegata ad un sistema completamente modulare e separato denominato Cascading Style Sheet (CSS). CSS I Cascading Style Sheet 1 vengono usati per definire la rappresentazione grafica di documenti (X)HTML. Le regole per comporre i fogli di stile sono contenute in un insieme di direttive (Recommendations) emanate a partire dal 1996 dal W3C; la versione attuale di CSS è la CSS 2.0 [4]. I CSS permettono di rendere più semplice sia la progettazione che la fruizione dei siti basati su (X)HTML. Infatti, mediante le direttive da essi offerte, è possibile definire a priori l apparenza di tag specifici o di insiemi di tag che compaiono all interno di un documento, consentendo la definizione di una veste grafica uniforme per tutti i contenuti offerti da un sito web. La consistenza semantica del sito verrà mantenuta facendo attenzione alla struttura dei contenuti offerti, mentre la grafica sará gestita dal foglio di stile che, essendo unico per il sito, garantirà la consistenza visiva dell interfaccia. Browser Il browser è un programma che consente di visualizzare i contenuti delle pagine dei siti web e di interagire con essi. Tecnicamente il browser è una applicazione client che utilizza il protocollo di comunicazione HTTP per inoltrare le richieste dell utente ad un web server. Il browser riceve dal Server il codice HTML della pagina e lo visualizza in forma di ipertesto [2]. 1 Fogli di stile a cascata, noti con l acronimo CSS e detti anche semplicemente fogli di stile 8

12 3 Stato dell arte Web Dinamico Il termine web dinamico viene utilizzato per indicare tutte quelle applicazioni Web che interagiscono attivamente con l utente, modificando i dati ad esso mostrati, in base alle informazioni ricevute dall utente stesso. Queste applicazioni sono sviluppate con linguaggi di programmazione: (a) lato Client, dove i linguaggi aggiungono interazione alla pagina. Questi (detti anche linguaggi di scripting) vengono integrati nella pagina HTML e interpretati dal browser (b) lato Server dove appositi linguaggi di programmazione ed appositi moduli software consentono di offrire pagine web i cui contenuti variano nel tempo ed in funzione delle richieste degli utenti [1]. Lato Client JavaScript, così come altri linguaggi di scripting, permette di implementare applicazioni lato Client che vengono caricate ed eseguite sul Browser. Javascript è un linguaggio orientato agli oggetti, comunemente usato nei siti web per rendere più dinamica l interazione con gli utenti. Può essere utilizzato ad esempio per facilitare la visione dei contenuti estesi o con formati particolari (esempio proiezione di immagini, video, ecc.), per fornire suggerimenti all utente sulla compilazione di un form o controllare i valori inseriti nei campi di input [11]. Le applicazioni scritte in linguaggio JavaScript accedono e aggiornano dinamicamente il contenuto, la struttura e lo stile delle pagine web mediante il Document Object Model (DOM). Il DOM, letteralmente modello a oggetti del documento, è una forma di rappresentazione dei documenti strutturati come modello orientato agli oggetti. DOM è lo standard ufficiale del W3C per rappresentare la struttura dei documenti in modo neutrale sia rispetto al linguaggio di scripting che alla piattaforma software utilizzata [5]. In Figura 3.1 viene mostrata una rappresentazione ad albero del DOM di un semplice documento HTML. Figura 3.1. DOM 9

13 3 Stato dell arte JavaScript consente di accedere, interpellare ed intervenire sul DOM, con funzioni del tutto simili a quelle offerte da altri linguaggi lato client quali ad esempio il linguaggio VBScript di Microsoft, etc. La differenza sostanziale rispetto a questi ultimi è la posizione predominante che Javascript assume nell attuale panorama del web. Con l evoluzione delle tecniche informatiche e delle prestazioni dei personal computer, i browser offrono sempre più potenti implementazioni dei motori di interpretazione del linguaggio javascript, consentendo di delegare sempre maggiori funzionalità all elaborazione lato client. Lato Server Nell ambito della programmazione web, i linguaggi lato server rappresentano quei linguaggi di programmazione che vengono interpretati ed elaborati dal server. Questi linguaggi consentono al Server di comporre dinamicamente la struttura e i contenuti della pagina che verrà trasferita al client(browser). Tra i linguaggi lato server più diffusi vi sono il PHP e l ASP. Un programma scritto con questo tipo di linguaggi viene sempre elaborato sul server e non viene reso disponibile all utente, il quale può visualizzare solo il risultato dell applicazione Web 2.0 Il Web 2.0 è una nuova visione di Internet che ha cominciato ad influenzare il modo di lavorare ed interagire con le informazioni presenti in rete, creando un insieme di approcci per usare la rete in modo nuovo e innovativo [24]. Alla base di questo paradigma spesso risiede l utilizzo di tecnologie quali Really Simple Syndication (RSS) e Asynchronous JavaScript and XML (AJAX), le quali permettono ai dati di diventare indipendenti dalla persona che li produce o dal sito in cui vengono creati. L informazione può essere suddivisa in unità e viene permesso agli utenti di prendere informazioni da diversi siti simultaneamente e di distribuirle sui propri siti per nuovi scopi. RSS RSS è uno dei più popolari formati per la distribuzione di contenuti Web; è basato su XML, da cui ha ereditato la semplicità, l estensibilità e la flessibilità. I feed RSS permettono agli utenti di ottenere aggiornamenti automatici non appena un sito cambia, anziché controllarlo ogni volta per avere le ultime informazioni. RSS definisce una struttura adatta a contenere un insieme di notizie, ciascuna delle quali sarà composta da vari campi (nome autore, titolo, testo, riassunto e altri). Quando si pubblicano delle notizie in formato RSS, la struttura viene aggiornata 10

14 3 Stato dell arte con i nuovi dati. Visto che il formato è predefinito, un qualunque lettore RSS potrà presentare in una maniera omogenea notizie provenienti dalle fonti più diverse. AJAX AJAX è una tecnica basata sull utilizzo della funzione denominata XMLHttpRequest che il linguaggio Javascript mette a disposizione. Questa funzione consente di far comunicare in maniera asincrona il browser con il server senza che, necessariamente, si debba aspettare la risposta di quest ultimo per poter continuare l esecuzione del programma Javascript in corso nella pagina. L interpretazione della pagina può quindi essere completata prima dell effettiva consegna dei dati aggiuntivi richiesti. Il client, effettuando una richiesta di dati asincrona al Server, mediante AJAX, può attendere la risposta in background continuando eventuali altre operazioni, fino al completo ricevimento dei dati. La tecnica AJAX utilizza una combinazione di: (a) HTML (o XHTML) e CSS per lo stile, (b) DOM (Document Object Model) manipolato per mostrare le informazioni ed interagire con le stesse e (c) della funzione XMLHttpRequest per lo scambio asincrono dei dati tra il browser e il server [1]. Figura 3.2. AJAX 11

15 3 Stato dell arte In generale XML è il formato standard di scambio dei dati (Figura 3.2), anche se di fatto qualunque formato può essere utilizzato, incluso testo semplice, HTML preformattato e JSON. I dati scambiati sono solitamente generati in modo dinamico da script eseguiti su server remoti. 3.2 Stumenti di Ricerca delle informazioni Data la vastità di documenti e siti web pubblicati su Internet, gli strumenti di ricerca assumono un ruolo fondamentale per reperire le informazioni e per questo motivo sono stati oggetti di numerose ricerche, sia a livello universitario che di produzione. Gli strumenti di ricerca attualmente più diffusi sono la directory e il motore di ricerca [13]: la Directory svolge la funzione di un catalogo, dove i siti Web vengono archiviati in categorie a seconda dell argomento trattato. Non indicizza le pagine dei siti web, ma si limita a fornire un collegamento verso altri siti e a descrivere brevemente le informazioni da essi trattate. La caratteristica fondamentale della directory è il modo in cui sono raccolte le informazioni. Non esistono software che estraggono dati dal Web, ma categorie e descrizioni vengono suggerite dai webmaster ed esaminate dai redattori prima di essere pubblicate. Questa selezione manuale è in genere più rigida di altri sistemi, e sicuramente aumenta la qualità delle directory dato che elimina molti siti spazzatura che offrono informazioni poco utili. Lo svantaggio è rappresentato dal fatto che occorre molta manutenzione, dato che i siti possono scomparire o variare di contenuti molto rapidamente, e quindi occorre un aggiornamento costante e puntuale delle voci di ciascuna categoria. La Directory è lo strumento principe in tutti quei casi in cui sia necessario determinare un elenco di siti di buona qualità molto simili tra di loro e/o relativi ad un argomento comune[13]. Un motore di ricerca (in inglese, search engine) è un sistema automatico che analizza un insieme di dati (in genere da esso stesso raccolti) e ad ogni richiesta dell utente fornisce una vista dei dati indicizzati, in ordine di rilevanza rispetto alla query utente [14]. In ambito Internet, i motori di ricerca sono basati su archivi di indirizzi (URL) di siti web recuperati generalmente attraverso degli specifici software (i cosiddetti spider o crawler) [15]. Questi software scandagliano continuamente le pagine dell intero Web, acquisendo tutte le URL non ancora presenti nei loro archivi. I motori di ricerca su Internet hanno la capacità di visitare ed includere nei loro indici un numero enorme di indirizzi. Le informazioni vengono 12

16 3 Stato dell arte continuamente memorizzate ed analizzate da programmi automatici su server multipli. I motori di ricerca tradizionali lavorano su keyword e non hanno alcuna nozione dell argomento trattato in un documento. L ordine di rilevanza dei documenti dipende quindi da un occorrenza di parole, che non necessariamente significa una concomitanza di contenuti e la capacità di soddisfare la richiesta dell utente [16]. 3.3 Paradigmi di ricerca delle informazioni Generalmente per effettuare ricerche efficienti in un archivio, il contenuto viene classificato in modo da posizionare un oggetto (o un argomento) in uno o piu contesti. I paradigmi di ricerca si possono divididere in base a tre tipologie di classificazione: gerarchica (ad albero) per keyword a faccette (multidimensionale) Ricerca basata su classificazione gerarchica (ad albero) Nei sistemi ad albero (Directory) ogni elemento è classificato rispetto ad una serie di categorie gerarchiche. Gli elementi di questa classificazione prevedono tipicamente l assegnazione ad una sola categoria (Figura 3.3), con qualche eccezione. Figura 3.3. Classificazione ad albero L esempio più famoso è la Classificazione Decimale Dewey (CDD), introdotta dal bibliotecario newyorkese Melvil Dewey a partire dal 1876, e da allora progressivamente espansa, aggiornata ed adottata in biblioteche di tutto il mondo [3]. La Classificazione Decimale Dewey è un sistema di classificazione di documenti su base disciplinare. E articolata in dieci classi principali, cento divisioni, mille sezioni. La maggior parte degli schemi di classificazione sono sostanzialmente enumerativi, ossia si basano sull elencazione delle classi nelle quali è possibile ripartire i 13

17 3 Stato dell arte documenti da classificare. L universo della conoscenza viene suddiviso in un certo numero di classi principali, ognuna di queste in sottoclassi, e così via, sviluppando in questo modo un albero gerarchico, di profondità teoricamente illimitata. Su questa classificazione gerarchica si basa la Directory, ossia un elenco di siti web suddiviso per argomento Ricerca basata su classificazione per keyword Il paradigma di ricerca per parole chiave è attualmente il più diffuso. Nella ricerca per parole chiave ad ogni documento si assegnano delle keyword o keyphrase (non più di dieci o quindici nel caso in cui il documento sia un libro in una biblioteca). I motori di ricerca che sfruttano questa classificazione si basano sulla ricerca di tali parole, perchè esse caratterizzano il documento desiderato. Queste ricerche restituiscono quindi un output trasversale rispetto a quello che si sarebbe potuto ottenere attraverso una ricerca con la Classificazione Decimale Dewey. In ambito bibliotecario, la ricerca attraverso parole-chiave consente di ignorare il linguaggio naturale degli autori e di accedere agli articoli attraverso soggetti assegnati all articolo da qualcuno che ne ha letto il contenuto. Questo strumento di ricerca bibliotecario è anche denominato Thesaurus. Le differenze tra un Thesaurus bibliotecario e un motore di ricerca sono due: nel primo caso esiste uno staff di persone (o anche una sola persona) che decide quali keyword attribuire a ciascun documento, mentre per quanto riguarda i motori di ricerca è il motore stesso che impara le keyword leggendo i documenti. In secondo luogo, mentre nel caso di un thesaurus esiste un vero e proprio libro che contiene tutte le keyword/keyphrase e relative relazioni, nei motori di ricerca le informazioni sono recuperate da una base dati formata dall intero insieme dei documenti indicizzati [20]. L utilizzo di una sintassi corretta nell effettuare le proprie ricerche è fondamentale, in quanto in assenza di un matching sintattico fra la query e le parole presenti nel documento, il documento stesso non potrà mai essere recuperato [21] Ricerca basata su classificazione a faccette (multidimensionale) La struttura a faccette offre vie alternative per raggiungere le informazioni, classificando i dati con un valore descrittivo dell informazione in essi contenuta. Le faccette non sono altro che singoli e diversi aspetti (dall inglese facet, cioè sfaccettatura) di un informazione, dove ogni faccetta rappresenta un contesto, un punto di vista, in cui analizzare da più prospettive l informazione stessa [8]. La classificazione a faccette nasce dalla Colon Classification, un tipo di classificazione bibliotecaria ideata nella prima metà del secolo scorso dal bibliotecario 14

18 3 Stato dell arte indiano S.R. Ranganathan. La Colon Classification si basa sull idea che ogni libro (ma in realtà ogni oggetto) può essere suddiviso e descritto in base alle caratteristiche dell oggetto stesso, le faccette appunto, che Ranganathan sintetizzò in cinque elementi: entità l oggetto centrale di un discorso materia i componenti e le proprietà dell oggetto energia le caratteristiche dinamiche dei processi che lo interessano spazio i suoi elementi geografici o in genere spaziali tempo le sue fasi cronologiche La realtà viene così scomposta e collocata da più punti di vista. Con la Colon Classification, l oggetto viene analizzato e classificato attraverso le proprietà con cui esso si contraddistingue,in genere meno influenzabili da giudizi soggettivi rispetto alle parole chiave, ad esempio. Così come nella Colon Classification, in un sistema di classificazione a faccette ogni elemento è legato ad una serie di caratteristiche. L utente potrà selezionare, filtrare, restringere il numero degli elementi ricercati selezionando alcune di queste caratteristiche. Un singolo oggetto diventa così raggiungibile tramite diverse interrogazioni, le quali rispecchiano differenti punti di vista (Figura 3.4). Figura 3.4. Classificazione multidimensionale La classificazione a faccette, inizialmente considerata rivoluzionaria, ha avuto in realtà scarsa applicazione in campo bibliotecario perchè troppo complessa da utilizzare in biblioteche a scaffale aperto. Questa classificazione trova invece la sua dimensione ideale associata alle pagine Web, dove si diffonde, soprattutto nei siti 15

19 3 Stato dell arte che gestiscono grandi moli di informazione ed in quelli di commercio elettronico. In quest ultimi ha trovato diffusione ideale, perchè permette di accedere allo stesso prodotto mediante molteplici percorsi di ricerca e quindi amplia la base di utenti possibili [22]. I motori di ricerca a faccette permettono la selezione di uno o più valori da faccette diverse, che vengono combinati a realizzare un filtro multiplo. Quest ultimo permette di restringere fortemente il campo di ricerca e quindi di individuare rapidamente i risultati più pertinenti [10]. La ricerca di informazioni attraverso un motore di ricerca può attraversare due stati definiti: (a) Browsing, quando l utente naviga tra tutti i risultati che il motore di ricerca fornisce per cercare quello desiderato e (b) Searching, quando l utente imposta ulteriori filtri, mette parole chiavi o tenta in qualche modo di restringere il campo di ricerca. I principali vantaggi dell utilizzo del metodo di ricerca a faccette sono: fornire libertà all utente che visita il sito. La persona che ricerca le informazioni trattate nel sito non dovrà più sottostare alla logica che deriva dalla distribuzione dei contenuti sul sito stesso, ma potrà navigare in base al proprio punto di vista. effettuare una ricerca mirata. La logica a faccette permette di incrociare facilmente più caratteristiche dello stesso oggetto fornendo più rapidamente risultati più precisi e soddisfacenti per l utente. Il risultato della ricerca è più definito, diminuisce sensibilmente il numero dei risultati possibili e di conseguenza anche il tempo impiegato per raggiungere il risultato finale. fusione tra browsing e searching. La classificazione a faccette permette all utente di scorrere tra le categorie di argomenti e utilizzare domande sempre più raffinate, senza che questo implichi due opzioni di ricerca separate. Lo svantaggio della classificazione a faccette è invece la difficoltà di mettere in evidenza i temi chiave. Infatti nella logica a faccette gli argomenti assumono tutti lo stesso peso, impedendo di dare risalto ad un argomento piuttosto che ad un altro [19]. 3.4 Motori di ricerca a faccette Il panorama dei motori di ricerca a faccette, presenti in rete, è caratterizzato da vari software con tecniche di funzionamento differenti. Tra questi vi sono: SOLR SOLR è una infrastruttura per la creazione di motori di ricerca a faccette. Essa fornisce il collegamento tra il motore di ricerca puro e le interfacce in cui 16

20 3 Stato dell arte selezionare le faccette. SOLR opera in ambito Server Side su di un apposito Java Servlet Container come Tomcat. SOLR è un progetto Open Source, realizzato in linguaggio Java e basa il suo funzionamento sulla libreria denominata Lucene 2. Lucene è una libreria, anch essa sviluppata in Java, che supporta la ricerca sintattica. Il funzionamento di SOLR prevede che il client effettui le domande (in formati prestabiliti) al Server SOLR tramite la funzione GET del protocollo HTTP e che il Server risponda inviando i risultati in formato XML. Tra le caratteristiche avanzate di SOLR vi sono: (a) funzioni di ricerca Full Text e ottimizzazione per alti volumi di traffico Web, (b) interfacce di amministrazione in pagine HTML, (c) configurazione esterna del server tramite XML e con accesso monitorabile, (d) scalabilità e possibilità di replica su altri Server di Ricerca SOLR, (e) potenti estensioni al linguaggio query di Lucene con strumenti di browsing e filtering dinamici. VuFind VuFind (Figura 3.5) è un software OPAC (On-line Public Access Catalogue) 3 creato appositamente per l ambito Bibliotecario. Esso realizza una interfaccia software per la ricerca a faccette in ambito Server Side e basa il suo funzionamento sul Motore di Ricerca SOLR, utilizzato come backbone. VuFind, oltre a filtrare tramite le faccette i risultati di ricerca, offre agli utenti la possibilità di accedere immediatamente alla biografia degli autori delle pubblicazioni di interesse tramite un integrazione con Wikipedia [23]. Flamenco Flamenco (FLexible information Access using MEtadata in Novel Combinations, Figura 3.6) è un progetto curato dall Università di Berkeley e consiste in un motore di ricerca a faccette, in ambito Server Side. Flamenco è un software open source, sviluppato in linguaggio Python. Per il suo funzionamento, Flamenco necessita di un Web Server Apache e di un Data Base Management System (DBMS) come MySql per la gestione dei dati. Esso consente opzionalmente di integrare Lucene per garantire una ricerca fulltext ottimizzata. La ricerca full-text è però già disponibile via MySQL senza l utilizzo di Lucene. 2 Lucene è una libreria software che permette di avere in Java un motore di ricerca full text. E un progetto open-source della Apache Software Foundation ed è altamente scalabile e personalizzabile. Ne esistono molte implementazioni in differenti linguaggi che condividono l accesso agli stessi indici (C, C++,.NET, Python, Perl, Ruby, Php,...) 3 OPAC è un Catalogo in rete ad accesso pubblico, ad esempio è il catalogo informatizzato delle biblioteche [18] 17

21 3 Stato dell arte Figura 3.5. VuFind Figura 3.6. Flamenco 18

22 3 Stato dell arte Exhibit Exhibit (Figura 3.7) è un framework sviluppato dal progetto SIMILE nel Massachusetts Institute of Technology (MIT). Esso fornisce ai suoi utilizzatori un motore di ricerca a faccette che consente di effettuare ricerche più precise e dettagliate sulle informazioni a disposizione. Exhibit permette, infatti, di filtrare e incrociare aspetti delle informazioni sotto punti di vista differenti, come ad esempio dal punto di vista geografico (con mappe) oppure rispetto al tempo (con linee temporali) tramite widget esterni (quali ad esempio Google Maps o Timeline). Exhibit, sviluppato in linguaggio Javascript, è caratterizzato da uno schema di funzionamento prevalentemente lato client, dove l elaborazione delle informazioni è a carico del browser. Figura 3.7. Exhibit In questo panorama di motori di ricerca, ognuno con le sue caratteristiche, questa tesi ha scelto di analizzare Exhibit, rispetto alle altre interfacce, per i seguenti motivi: Semplicità di struttura e di utilizzo. Exhibit non necessita da parte dell utilizzatore di installazione, configurazione, nè, tantomeno, di manutenzione. Ciò significa che può essere inserito in un sito da persone che non hanno molte conoscenze di programmazione. Integrazione con Widget esterni. Exhibit consente di soddisfare le esigenze di utilizzatori che desiderano effettuare Mashup di informazioni, ad esempio utilizzando Google Maps per evidenziare il luogo caratterizzante le informazioni mostrate. Generazione dinamica della presentazione. Exhibit rende più facile il lavoro per gli autori di siti web con dati pubblicati, permettendo loro di offrire ai propri utenti delle interfacce i ricerca più potenti a costo minimo. 19

23 Capitolo 4 Exhibit 4.1 Anatomia di un Exhibit Il motore di ricerca Exhibit prevede l esistenza di due tipi principali di utilizzatori: (a) l utilizzatore finale, a cui viene presentata una interfaccia grafica con una serie di funzionalità di filtraggio e ricerca e (b) lo sviluppatore del sito che definirà i contenuti dell interfaccia grafica e i contenuti da ricercare mediante una serie di funzionalità e di estensioni HTML Interfaccia verso l utilizzatore Exhibit offre un insieme di widget grafici per la selezione ed il filtraggio delle informazioni da ricercare. Questi widget sono posizionabili nella pagina web che ospita l exhibit utilizzando semplici istruzioni (X)HTML e CSS. I widget vengono istanziati definendo degli appositi tag DIV, cui sono associati attributi particolari (con namespace ex:), che vengono posizionati nella pagina utilizzando il layouting CSS. Exhibit fornisce tre tipologie di widget (Figura 4.1), identificate dall attributo ex:role : le viste (ex:role= view ) forniscono una rappresentazione visiva dei dati. Exhibit supporta diverse tipologie di viste come tabelle, elenchi, mappe, timeline e grafici a barre. Le viste a forma tabellare (ex:viewclass= Exhibit.TabularView ) e ad elenco mostrano le informazioni ordinate per una certa proprietà, evidenziando diverse colonne di dati in base alle configurazioni fornite (Figura 4.2). La linea temporale (ex:viewclass= Exhibit.Timeline ) permette di organizzare informazioni dotate di marcatura temporale (data, ora, etc.) lungo una linea 20

24 4 Exhibit Figura 4.1. Anatomia di un Exhibit Figura 4.2. Vista Tabellare 21

25 4 Exhibit che rappresenta il tempo (Figura 4.3), dal passato al presente, da sinistra verso destra. Figura 4.3. Vista a Linea Temporale Le mappe (ex:viewclass= Exhibit.MapView ), invece, sfruttano come informazioni le coordinate geografiche presenti in ogni elemento della base dati, posizionando i dati all interno di una cartina, fornita dal servizio di mappe on-line di Google (Figura 4.4). Figura 4.4. Vista a Mappa Le lenti (ex:role= lens ) sono viste particolari, che consentono di visualizzare un singolo elemento del database (Figura 4.5 [7]). il pannello di visualizzazione (ex:role= viewpanel, Figura 4.6), è un contenitore di viste. Il pannello consente di esportare i dati che fanno parte dell insieme correntemente selezionato mediante le faccette, tramite una piccola icona con una forbice. Il pannello inoltre visualizza il numero degli elementi che fanno attualmente parte dell insieme filtrato, rispetto al numero totale. 22

26 4 Exhibit Figura 4.5. Esempio di lente Figura 4.6. Esempio di Pannello di visualizzazione 23

27 4 Exhibit le faccette (ex:role= facet ) sono i componenti che consentono di filtrare dinamicamente le informazioni all interno di Exhibit. La faccetta più comune è la faccetta a lista; altri tipi di faccetta includono quelle a nuvola di tag, a ricerca di parola chiave e permettono all utente di selezionare sottoinsiemi di dati, sulla base di determinati valori della faccetta selezionati dall utente(figura 4.7a,b,c). Esistono altre faccette che permettono la visualizzazione di intervalli numerici, di selezione delle date, calendari (Figura 4.7d), etc. (a) Lista (b) Nuvola di Tag (c) Ricerca Parole Chiave Figura 4.7. Faccette (d) Calendario Funzionalità per il pubblicatore Per integrare un motore di ricerca Exhibit in una pagina web, il WebMaster necessita di una fonte dati da cui reperire le informazioni. Exhibit supporta nativamente il 24

28 4 Exhibit formato JSON ma può automaticamente importare una varietà di formati quali Bibtex, Excel, RDF/XML e Google Spreadsheets. I dati trattati da Exhibit sono tipicamente composti da una serie di oggetti (items), contenenti coppie proprietà/valore (Figura 4.8). I valori di ciascuna coppia possono essere stringhe, valori numerici o booleani e la stessa proprietà può assumere più valori (serie) contemporaneamente. Figura 4.8. Esempio di coppie proprietà valore Definita la struttura ed i contenuti della base dati, il WebMaster definisce la pagina HTML che ospiterà l Exhibit, ed in particolare definisce i vari elementi che faranno parte dell interfaccia di ricerca mostrata all utilizzatore finale. Un Exhibit viene specificato inserendo all interno della pagina: nella parte di codice tra i tag HEAD, i tag per collegare alla pagina il codice Javascript di Exhibit (che verrà eseguito al caricamento della pagina stessa), le necessarie estensioni e la base dati contenente i valori da ricercare nella parte BODY appositi tag DIV, aventi namespace ex: e opportune proprietà definite per ciascuno di essi, indicano a Exhibit i widget da mostrare. Per ciascun widget mostrato nella pagina vengono definite la tipologia (proprietà del tag denominata role ), gli aspetti dei dati che questo deve trattare (proprietà del tag denominata espression ), le modalità di visualizzazione e di funzionamento dei widget. Un esempio di definizione di Exhibit è riportato in Figura 4.9, mentre in Figura 4.10 è mostrata la corrispondente interfaccia verso l utilizzatore. Le pagine web che sfruttano Exhibit come motore di ricerca possono presentare stili differenti tra di loro, definiti tramite CSS. In ogni caso, la modalità di creazione di queste pagine è comunque la stessa, indipendentemente dall aspetto grafico ad esso assegnato. Ogni tipologia di widget possiede un set proprio di attributi, modificabile dal pubblicatore dell interfaccia di ricerca: Viste (ex:role= view ). Una vista viene specificata identificando: (a) la tipologia di vista (ad esempio in forma tabellare) mediante l attributo ex:viewclass, (b) le informazioni da mostrare specificando l eventuale formato numerico e/o testuale da adottare, (c) l ordinamento da utilizzare. Faccette (ex:role= facet ). Per le faccette è possibile specificare diversi attributi: 25

29 4 Exhibit Figura 4.9. Esempio di codice HTML che integra Exhibit 26

30 4 Exhibit Figura Esempio della pagina visualizzata che integra Exhibit 27

31 4 Exhibit ex:facetclass specifica quale tipologia di visualizzazione utilizzare per mostrare i dati all interno della faccetta. Esistono due tipologie associabili: elenco (tile view) e intervallo numerico (numeric range). La tipologia ad elenco mostra un elenco di valori selezionabili, mentre la tipologia intervallo numerico mostra una serie di intervalli di valori. I valori considerati sono scelti tra quelli esistenti per la proprietà indicata nell attributo ex:espression della faccetta (tag DIV), ex:espression che specifica la proprietà a cui la faccetta è legata e della quale deve raccogliere i dati e ex:facetlabel che consente di associare alla faccetta un etichetta di testo.. Alcune di queste configurazioni sono ulteriormente modificabili dall utente della pagina (ad esempio la colonna di ordinamento di una vista tabulare), mediante appositi elementi di interfaccia Esempio Consideriamo più in dettaglio un esempio di utilizzo di Exhibit in una pagina HTML, riportato in Figura Nell esempio riportato, Exhibit lavora su di una base dati formata da elementi strutturati con undici faccette (in Figura 4.12): (a) type, (b) label, (c) cereal, (d) brand, (e) decade, (f) country, (g) form, (h) thumbnail, (i) image, (j) url e (k) text. Queste faccette vengono visualizzate nell interfaccia di ricerca impostando i tag DIV corrispondenti, assegnando loro i ruoli necessari. Come si può notare questa pagina è composta da cinque widget di tipo faccette (ex:role=facet), di cui quattro (figura 4.11 indicate con FaccettaElenco1 fino a FaccettaElenco4 ) sono, per default, del tipo a lista e consentono all utente di scegliere tra uno o più valori all interno di ciascuna faccetta per filtrare i dati disponibili nella base dati. Ciascuna di queste si occupa di una particolare proprietà tra quelle presenti negli elementi da analizzare. Questa proprietà è impostata inserendo l attributo ex:expression nel tag della faccetta (nell esempio per la FaccettaElenco1 è indicata ex:expression=.brand). La quinta faccetta è del tipo ricerca per parole chiave. Questo tipo di faccetta permette di ricercare le parole chiave scritte dall utente all interno della base dati su cui lavora Exhibit. Nell esempio è presente anche un pannello (figura 4.11 indicato con PannelloVisualizzazione ) che consente di alternare due widget di visualizzazione dei dati. Il primo di questi due è un elenco di miniature (figura 4.11 indicato con Vista ) e mostra una serie di immagini ed etichette per ciascuno degli elementi della base dati. Se l utente volesse ricevere più dettagli relativi ad uno degli elementi mostrati, il widget Lente (figura 4.11 indicato con Lente1 ) fornirà l approfondimento richiesto. 28

32 4 Exhibit Figura Esempio di codice HTML che integra Exhibit Figura Elemento contenuto nel file Json dell esempio 29

33 4 Exhibit La seconda invece è una linea temporale (figura 4.11 indicato con LineaTemporale ) che dispone gli elementi visualizzati, in base alla data riportata nella faccetta.decade presente in ciascuno di essi. Ciascun elemento della base dati viene rappresentato quindi come punto su una linea temporale il cui unico asse rappresenta, appunto, l evolvere del tempo, dal passato verso il futuro. Il browser che interpreta la pagina HTML recupererà il software di Exhibit tramite l URL indicato nell apposito tag SCRIPT (figura 4.11 indicato con Codice- Exhibit ), il tag indica di reperire direttamente il codice dal server del MIT. Allo stesso modo, i widget utilizzati dalla pagina HTML saranno presenti sul server indicato dalla URL dell appposito tag(nell esempio il tag identificato come CodiceWidgetTimeLine). Infine, osservando l intestazione della pagina HTML (HEAD) è possibile identificare facilmente il tag (LINK) responsabile dell individuazione dei dati da ricercare. Tali dati sono codificati in formato JSON e sono resi disponibili all indirizzo (URL) riportato nell attributo href del suddetto tag. 4.2 Architettura Logica di Exhibit L architettura logica di Exhibit si organizza secondo sei moduli principali con differenti funzionalità, come mostrata in Figura Figura Architettura Exhibit Standard Il modulo di Interfaccia Utente (UI Layer) definisce la parte grafica di Exhibit e permette all utente di interagire con il motore di ricerca, sia per l applicazione dei filtri, sia per la visualizzazione dei risultati. Esso è composto da diversi moduli interni, che permettono di realizzare le funzioni di: Visualizzazione. Questa funzione è svolta dalle lenti e dalle viste. 30