Technical Report TR2.3.3 TITOLO. Realizzazione dell architettura per l annotazione semantica e di uno strumento prototipale

Transcript

1 PAG 1 DI 22 Technical Report TR2.3.3 TITOLO Realizzazione dell architettura per l annotazione semantica e di uno strumento prototipale

2 PAG 2 DI 22 Indice Abstract... 3 Un architettura per la Semantic Annotation Architettura server-side Architettura client-side Realizzazione di uno strumento per la Semantic Annotation Diagramma UML dei casi d uso Diagramma UML dei componenti Diagrammi UML delle classi Ontology Annotation Tool: un caso di studio Avvio ed utilizzo Descrizione interfaccia grafica Procedure di annotazione Salvataggio delle annotazioni Autenticazione Visualizzazione delle annotazioni Opzioni di configurazione Riferimenti... 21

3 PAG 3 DI 22 ABSTRACT Il presente technical report contiene una descrizione dello strumento prototipale sviluppato per permettere l annotazione semantica di contenuti, che implementa il modello uniforme di annotazione definito nel task T2.1, e della architettura per la gestione ed il versioning delle annotazioni, dei documenti annotati e delle ontologie utilizzate. Lo strumento realizzato permette di ottenere il cosiddetto arricchimento semantico, o semantic enrichment, che è riconosciuto come essere la metodologia più promettente per migliorare l accessibilità delle informazioni sul web o su archivi documentali web-based. Il termine semantic enrichment si riferisce alla funzionalità di incorporare o associare a testi o a basi di dati, specifici tipi di metadati, detti annotazioni semantiche, che sintetizzano il contenuto dei documenti o dati. L annotazione semantica associa una semantica formale ad una risorsa digitale, e tipicamente consiste in un insieme di concetti appartenenti ad una ontologia di dominio (il dominio di interesse dei documenti o dati), o, nel caso più complesso, in espressioni logiche i cui termini sono concetti o istanze dell ontologia. Lo strumento sviluppato non si compone soltanto dell annotatore, ma prevede una articolata architettura per la gestione dei contenuti e delle annotazioni, che verrà dettagliata nei prossimi paragrafi. UN ARCHITETTURA PER LA SEMANTIC ANNOTATION In questo paragrafo si descrive un architettura che implementa il modello uniforme di annotazione definito nel [TR2.1.3], e che permette la gestione ed il versioning delle annotazioni, dei documenti annotati e delle ontologie utilizzate. La piattaforma sviluppata si basa su di una architettura Client/Server, in cui la parte client, che è installata sulla macchina dell utente, consiste essenzialmente nello strumento annotatore, mentre la parte Server risiede su di un unica macchina, accessibile da remoto, predisposta alla funzione di repository centrale.

4 PAG 4 DI : Architettura per la Semantic Annotation Figura L applicativo Client, Ontology Annotation Tool, è stato sviluppato come plugin del tool Protégé, ma ne è disponibile anche una versione stand-alone. Tale applicativo permette di annotare pagine web, file di testo in formato txt, plain text (testo non formattato) o in formato doc e file di presentazione in ppt, associando ad essi le istanze o combinazioni strutturate di esse, di una ontologia. La parte Server è composta da un server centrale che gestisce le versioni, cioè implementa il cosiddetto versioning, delle annotazioni, delle ontologie e dei documenti e da un database relazionale che mantiene le relazioni tra questi e ne permette il recupero. 1.1 ARCHITETTURA SERVER SIDE L architettura lato server progettata si occupa principalmente del controllo di versione, che è una tecnica per gestire i cambiamenti delle informazioni. Tale attività è stata per molto tempo uno strumento critico per i programmatori, che solitamente passano le loro giornate ad effettuare piccoli cambiamenti ad un software per poi cancellare i cambiamenti il giorno seguente. Ma l utilità di un software di versioning si estende ben oltre i limiti del mondo dello sviluppo software: ovunque è possibile incontrare persone che utilizzano il computer per gestire informazioni che cambiano di frequente, lì trova spazio il controllo di versione.

5 PAG 5 DI 22 Nel mondo del software open source, Concurrent Versions System (CVS) è stato a lungo lo strumento preferito per la gestione delle versioni di un dato software. Tuttavia, CVS ha iniziando a mostrare i segni del tempo, pertanto è stato progettato il suo successore, Subversion (SVN), con lo scopo di eliminare i difetti più evidenti di CVS ed essere uno strumento ancora più potente, usabile e flessibile. Subversion è un sistema di controllo di versione libero e open source. L architettura Server realizzata fa dunque uso di SVN per gestire files (annotazioni, documenti e ontologie) e directories nel tempo. L alberatura dei files è inserita all interno di un repository centrale. Il repository è paragonabile ad un file server, in più esso ricorda qualsiasi cambiamento fatto ai files e alle directories. Ciò permette di ripristinare vecchie versioni o esaminare lo storico dei cambiamenti dei dati. Subversion può accedere ai suoi repositories attraverso la rete; ciò gli permette di essere utilizzato da più persone contemporaneamente su più computers. In alcune circostanze, la possibilità per più persone di modificare e maneggiare lo stesso elenco di dati, ognuno dalle rispettive postazioni, aumenta la collaborazione. Scopo del database è invece quello di mantenere in maniera persistente il collegamento tra le istanze dell ontologia, le quali sono state create o utilizzate durante il processo di annotazione, e le annotazioni stesse, e per permettere un più veloce recupero dei documenti in fase di ricerca. Difatti una tipica ricerca effettuata tramite un motore semantico che adotti il linguaggio SPARQL, ritorna le tuple (le istanze) di una ontologia, da questa poi bisogna risalire ai documenti che hanno come annotazioni tali istanze. 1.2 ARCHITETTURA CLIENT SIDE L architettura lato client è composta essenzialmente dall annotatore che permette di annotare documenti multimediali e non,tramite una o più ontologie di riferimento. L annotazione semantica prodotta in output è conforme al modello uniforme di annotazione definito nel [TR2.1.3]. Di seguito se ne riportano le caratteristiche principali: l annotazione è di tipo formale in quanto utilizza un linguaggio di rappresentazione della conoscenza (linguaggio OWL);

6 PAG 6 DI 22 l espressione di annotazione è composta da termini appartenenti ad un ontologia di riferimento e/o da termini (classi e istanze) definiti dall utente; l annotazione prodotta è di tipo attached in quanto è memorizzata separatamente e collegata al documento attraverso un puntatore, conservato nel database relazionale che ne mantiene il riferimento consistente con l effettiva locazione del documento annotato, affinché l annotazione non perda significato; l annotazione avviene attraverso istanze ontologiche : la porzione di risorsa annotata è associata ad un istanza dell ontologia. L istanza può essere già presente o creata appositamente dall utente. 1.3 REALIZZAZIONE DI UNO STRUMENTO PER LA SEMANTIC ANNOTATION Nei paragrafi seguenti si dettaglieranno le scelte progettuali ed implementative che hanno portato alla realizzazione di uno strumento prototipale che realizza l architettura presentata al Paragrafo 3.3, per poi passare alla descrizione e alla presentazione della sua interfaccia utente DIAGRAMMA UML DEI CASI D USO

7 PAG 7 DI 22 Figura 1.25: Diagramma dei casi d uso Come si nota dal diagramma in Figura 1.25 le funzionalità offerte dal tool sono: Annotate: tale funzionalità permette di annotare un nuovo documento o modificare una annotazione pregressa; Visualize Annotation: tale funzionalità permette di visualizzare annotazioni pregresse; Save Annotation: tale funzionalità consente di salvare le annotazioni sul repository.

8 PAG 8 DI DIAGRAMMA UML DEI COMPONENTI Ontology Manager User Interface Repository Client Document Manager Figura 1.26: Diagramma dei componenti Il diagramma riportato in Figura 1.26 mostra i componenti costituenti lo strumento sviluppato, i cui nomi rispecchiano quelli utilizzati dai componenti nella definizione dell architettura descritta al Paragrafo DIAGRAMMI UML DELLE CLASSI

9 PAG 9 DI 22 Figura 1.27: Diagramma delle classi Accesso al repository remoto La classe ClientConnection si occupa dell interfacciamento con il repository remoto, per l acceso da parte del client è stata utilizzata la libreria Java SVNkit 1. Per quanto riguarda l implementazione della parte Server e del repository remoto è stato utilizzato il sistema Subversion fornito da Tigris 2, mentre il database è stato implementato utilizzando il DBMS Mysql 3. Le API sviluppate per l accesso al Server SVN e al database, sono del tutto indipendenti dall applicativo client sviluppato in questo stesso lavoro e quindi l architettura è aperta ad ulteriori client di annotazione semantica. 1 sito web della libreria SVNKit. 2 sito web del progetto Subversion di Tigris. 3 sito web del DBMS MySql.

10 PAG 10 DI 22 Figura 4.28: Diagramma delle classi Manager dei documenti Lo classe MicrosoftDocumentManager si occupa di estrarre il testo dai documenti in formato Miscosoft Office (nella versione corrente si contemplano solo documenti in formato doc e ppt), per poterlo annotare. Per il parsing di tali documenti è stata utilizzata la libreria Apache POI 4. La classe ImageManager permette di caricare immagini in formato png, gif, jpeg e tiff e di annotarne porzioni o per intero ONTOLOGY ANNOTATION TOOL: UN CASO DI STUDIO Il tool di annotazione semantica è stato realizzato come plugin del tool Protégé. Successivamente ne è stata sviluppata una versione indipendente dal tool Protégé ed integrato nello strumento per il Semantic Information Retrieval. Lo strumento di annotazione permette di annotare pagine web, file di testo in formato txt, plain text (testo non formattato) o in formato doc e file di presentazione in ppt. 4 sito web della libreria Apache POI.

11 PAG 11 DI Avvio ed utilizzo Per avviare il software in questione si avvii Protégé. A questo punto nella schermata principale apparirà la classica schermata di Protégé. All interno di Project selezionare il menù Configure e selezionare il tab chiamato OVerFATab. La schermata principale è quella presentata nella prossima illustrazione Descrizione interfaccia grafica Il pannello principale è costituito dalla seguente interfaccia grafica e da una serie di menu, da cui sono accessibili le diverse funzionalità. Figura 4.29: Pannello principale Il tab dell annotatore è formato da tre parti. Il primo pannello a sinistra, permette di visualizzare il file da annotare, mentre la toolbar superiore consente di effettuare le operazioni di apertura e salvataggio dei file e delle annotazioni.

12 PAG 12 DI 22 Il pannello centrale, mostra l ontologia in OWL, in particolar modo si ha un Class Browser che permette di navigare l ontologia. L Instance Browser permette invece di visionare le istanze dei concetti presenti nella stessa ontologia. Il terzo pannello, quello all estrema destra, mostra i colori associati ai concetti e la possibilità di mostrare o nascondere tali colori nei concetti annotati nel primo pannello. Figura 4.30: Toolbar Ontology dello strumento La toolbar Ontology permette di caricare le ontologie all interno del tool e presenta le seguenti funzionalità: : permette di caricare nel tool una ontologia presente nel repository di ontologie; : permette di fare il refresh delle ontologie che si trovano in locale (controlla che la versione delle ontologie sia la più recente); : permette di creare un repository locale di ontologie; : permette di salvare l ontologia modificata e di salvarla nel repository remoto. Figura 4.31: Barra di navigazione

13 PAG 13 DI 22 La barra di navigazione permette di caricare il documento da annotare, digitando l url nella barra degli indirizzi o usando il pulsante Open ( ) per caricare un file di testo o per visualizzare una precedente annotazione. Figura 4.32: Scelta del tipo di file da annotare Il pulsante Il pulsante permette di salvare l annotazione e di farne l upload sul repository remoto. permette di configurare alcune impostazioni del tool Procedure di annotazione Annotazione utilizzando concetti di una ontologia La procedura di annotazione è una semplice sequenza di passi: 1. Si carichi il tab OVerFA; 2. Si carichi il documento da annotare, digitando l url nella barra degli indirizzi o usando il pulsante Open per caricare un file di testo; 3. Si selezioni il concetto da annotare nel Class Browser del pannello centrale; 4. Si selezioni il testo da annotare nel browser;

14 PAG 14 DI Si effettui un click col tasto destro del mouse e si scelga l opzione <I> Instance Of <nome_classe>, che crea un istanza per il concetto selezionato. Figura 4.33: Annotazione tramite istanziazione di concetti Annotazione utilizzando concetti di diverse ontologie La procedura di annotazione è la seguente: 1. Si carichi il tab OVerFA; 2. Si carichi il documento da annotare, digitando l url nella barra degli indirizzi o usando il pulsante Open per caricare un file di testo; 3. Si selezioni il concetto da annotare nel Class Browser del pannello centrale; 4. Si selezioni il testo da annotare nel browser; 5. Si effettui un click col tasto destro del mouse e si scelga l opzione <I> Instance Of <nome_classe>, che crea un istanza per il concetto selezionato. 6. Tramite la toolbar Ontology si carichi una nuova ontologia utilizzando il pulsante e si proceda di nuovo dal passo 3.

15 PAG 15 DI 22 Figura 4.34: Annotazione utilizzando concetti di più ontologie Annotazione utilizzando una istanza già presente nell ontologia La procedura di annotazione è la seguente: 1. Si carichi il tab OVerFA; 2. Si carichi il documento da annotare, digitando l url nella barra degli indirizzi o usando il pulsante Open per caricare un file di testo; 3. Si selezioni l istanza da annotare nell Instance Browser del pannello centrale; 4. Si selezioni il testo da annotare nel browser; 5. Si effettui un click col tasto destro del mouse e si scelga fra le opzioni la terza di esse <I> Linked To <nome-individuo>, la quale crea un collegamento all istanza per il testo selezionato.

16 PAG 16 DI 22 Figura 4.35: Annotazione utilizzando istanze già presenti nell ontologia Annotazione utilizzando le proprietà di una istanza La procedura di annotazione è la seguente: 1. Si carichi il tab OVerFA; 2. Si carichi il documento da annotare, digitando l url nella barra degli indirizzi o usando il pulsante Open per caricare un file di testo; 3. Si selezioni il concetto da annotare nel Class Browser del pannello centrale; 4. Si selezioni il testo da annotare nel browser; 5. Si effettui un click col tasto destro del mouse e si scelga l opzione <I> Instance Of <nome_classe>, che crea un istanza per il concetto selezionato; 6. Una volta creata l istanza di un concetto è possibile esplorarne le sue proprietà facendo doppio click sulla istanza appena creata nell Instance Browser.

17 PAG 17 DI 22 Figura 4.36: Proprietà dell istanza appena creata 1. Si voglia ora associare a tale istanza altre istanze utilizzando le sue proprietà: a. Si effettui un click col tasto destro del mouse e si scelga la terza opzione (nome dell istanza), si aprirà una tendina con le proprietà dell istanza selezionata al passo precedente; Figura 4.37: Annotazione utilizzando le proprietà

18 PAG 18 DI 22 b. Si effettui un click col tasto sinistro del mouse sulla proprietà da utilizzare; c. Ora l istanza ha associata, nel campo proprietà, una nuova istanza come da figura. Figura 4.38: Proprietà dell istanza dopo l annotazione Annotazione di immagini e/o porzioni di esse Lo strumento sviluppato permette di annotare, secondo le procedure illustrate precedentemente, anche le immagini (in formato jpeg, tiff, png e gif) e/o porzioni delle stesse, come mostrato in figura:

19 PAG 19 DI 22 Figura 4.39: Annotazione di una porzione d immagine Un testo annotato si potrà vedere graficamente poiché il background del testo cambierà colore ed assumerà quello relativo al concetto cui tale testo è annotato Per eliminare un annotazione, bisogna cliccare sul testo annotato (ossia testo con un background colorato) e scegliere l opzione Delete annotation come in figura: Figura 4.40: Cancellazione di un annotazione Salvataggio delle annotazioni Le annotazioni create con lo strumento vengono salvate tramite un apposita funzione, sul repository remoto. L annotazione segue quello che è stato denominato OVerFA Annotation Model: cioè il modello di annotazione semantica definito in [TR2.1.4].

20 PAG 20 DI 22 Il salvataggio può essere effettuato in due diversi modi: Annotazioni XML: in questo modo le annotazioni sono salvate in documenti XML, attraverso tag che racchiudono il testo annotato; OVerFA Annotation Model: questo modello è utilizzato per salvare l annotazione utilizzando il modello di annotazione semantica definito in [TR2.1.4] Autenticazione Per poter effettuare il download di una ontologia dal repository centrale è richiesta una fase di autenticazione, come mostrato in figura: Figura 4.41: Autenticazione in fase di upload di un annotazione I dati inseriti in questa fase sono poi riutilizzati per autenticare l utente in fase di upload delle annotazioni.

21 PAG 21 DI Visualizzazione delle annotazioni Oltre che salvare le annotazioni è anche possibile visualizzarle graficamente, cioè è possibile vedere a quali documenti fanno riferimento è quali parti del testo sono state annotate Opzioni di configurazione Il tool ci permette di settare alcune opzioni, ad esempio permette di scegliere il nome delle singole istanze dell ontologia (individuals). Infine è possibile scegliere il tipo di annotazione, cioè se si sta annotando una porzione di un testo o un intero documento. Nella figura seguente si mostra tali possibili scelte: Figura 4.43: Pannello delle opzioni RIFERIMENTI [1]

22 PAG 22 DI 22 [2] [3] [4] [5] The Protégé-OWL API [6] Apache POI - Java API To Access Microsoft Format Files