Opendata e ontologie Due esempi d'uso

Transcript

1 Opendata e ontologie Due esempi d'uso Stefano Penge (a), Andrea Sterbini (b), Maurizio Mazzoneschi (a), Giorgio Consorti (a) (a) Lynx s.r.l. (b) Dipartimento di Informatica, Sapienza Università di Roma 0. Premessa Che i dati siano informazioni, e non solo bit, solo se sono accompagnati da metadati, se sono coerenti, indicizzati, puliti, è sempre più chiaro. E' un primo passo utile quello di pubblicare tutto e subito, ma il cammino che porta dalla apertura all'utilizzo è lungo e spesso travagliato. Questo articolo descrive due casi di utilizzo di un'ontologia nell'indicizzazione automatica dei dati aperti per permetterne un migliore accesso, soprattutto da parte di utenti non tecnici. I due esempi sono costruiti a partire da un'architettura comune e si differenziano solo dal punto di vista dei dati. 1. Ontologie e categorizzazione automatica Una ricerca efficace all'interno di dati testuali, in una società che ne produce in continuazione e anzi spinge l'utente a produrli, è un obiettivo molto attraente per l'industria, i governi, la società civile. Si possono prendere almeno due strade: quella del tentativo di costruire una rappresentazione del contenuto profondo di un testo (Natural Language Processing) e quella della ricerca di somiglianze tra strutture superficiali. La prima strada è al di là delle enormi difficoltà - quanto meno dispendiosa in termini di risorse informatiche; la seconda è più efficiente, ma si scontra con i classici problemi della ricerca full text (falsi positivi, ). Il nostro tentativo si colloca in qualche modo a metà strada: non cerchiamo di simulare la comprensione di un testo, ma solo la sua categorizzazione. Questo perché mentre è ancora di là da venire una definizione di comprensione, è abbastanza chiaro cosa significhi categorizzazione : l'assegnazione di una o più etichette, tratte da una lista finita, ad un item. Cos'è esattamente un'ontologia? E' un termine preso in prestito dalla filosofia dove lungo tre millenni, da Parmenide ad Aristotele, da Wolff ad Husserl, aveva assunto significati vari e spesso molto diversi tra loro, da discorso sull'essere in generale (cioè su ciò che è in comune a tutto cio che è) a discorso su quegli enti sufficientemente astratti da non avere corrispondenti sensibili (come i concetti matematici). Ontologia è però utilizzato oggi in ambito informatico in un senso piuttosto ristretto, come equivalente di classificazione, di gerarchia di concetti, in cui i legami abbiano una valenza semantica e non solo linguistica, con alcune caratteristiche formali che ne permettono una certa gestione automatica; in questo senso si collega al concetto di knowledge management, alle reti semantiche, ai sistemi esperti, e a tutti quegli ambiti di riflessione a cavallo tra trattamento automatico del linguaggio naturale e produzione automatica di informazioni nuove. In altre parole, preso un dominio della realtà (per esempio, le tipologie di vini), si definiscono i

2 concetti fondamentali che lo descrivono, insieme alla relazioni tra questi concetti, relazioni che derivano dalla nostra conoscenza del mondo e non solo dalle operazioni possibili a livello linguistico (come potrebbero essere il passaggio da singolare a plurale, la negazione, l'opposizione). L'ontologia può arrivare fino a toccare terra contenendo dei riferimenti a oggetti concreti, non più astratti, come potrebbe essere questo specifico vino (la produzione di un'annata specifica di un DOC) o addirittura questa specifica bottiglia. Proprio per questa filiazione filosofica non riconosciuta, non sempre è chiaro se l'ontologia pretende di rappresentare il mondo reale, o una concezione del mondo, o un discorso sul mondo, essendo i tre livelli piuttosto interscambiabili in un ambiente informatico (ma non, appunto, in uno filosofico). In questo testo ci occupiamo di ontologie solo come metadati, cioè come schemi linguistici utili per indicizzare (e quindi ricercare) contenuti testuali in maniera non arbitraria. Il web e in generale la partecipazione degli utenti alla costruzione induttiva della conoscenza (folksonomy) come ogni processo che si vuole spontaneo, organico, non guidato, porta inevitabilmente con sé le variazioni e le fluttuazioni (di forma ma anche di valore) che rendono il prodotto poco usabile senza una revisione formale da parte di uno o più specialisti del dominio. D'altra parte, l'utilizzo nella marcatura di termini facenti parte di un vocabolario controllato, di un thesaurus, permette di ridurre se non di eliminare il rumore costituito da termini chiave diversi ma sinonimi, o da varianti non significative (plurali, singolari, sostantivi e aggettivi, etc) utilizzate da soggetti diversi al momento della marcatura. Utilizzare un'ontologia, invece di un semplice elenco, permette inoltre di verificare, a priori, un equilibrio di fondo tra i termini usati, in termini di copertura di aree e sotto-domini. Inoltre, un'ontologia formalizzata permette qualche forma di deduzione (se X è un concetto superiore a Y, e Y è superiore a Z, allora anche X è superiore a Z), e quindi, dal lato degli oggetti marcati, permette di estendere la marcatura (se a è marcato con Z, può considerarsi marcato anche con Y e X) e di utilizzare questi risultati nella ricerca: se il mio termine di ricerca è X, anche l'oggetto a (marcato solo con Z) può essere considerato un risultato accettabile. Il punto chiave è però il seguente: quanto lavoro è richiesto per indicizzare i dati? È possibile marcare a mano i dati, poniamo, delle offerte di lavoro pubblicate dai Centri per l'impiego, o gli articoli della Costituzione o del Codice di Procedura Civile, in modo da poter applicare successivamente degli algoritmi di indicizzazione e navigazione non basati solo sulla ricerca di stringhe? La nostra idea è di utilizzare la conoscenza umana di un esperto (codificata in categorie predefinite, applicate agli elementi da indicizzare) e un algoritmo di ricerca di somiglianza tra oggetti testuali per indicizzare in maniera automatica questi oggetti. In altre parole, se a è stata categorizzata da un esperto sotto le categorie X,Y e Z, e b può essere considerato abbastanza simile ad a, allora ci sono forti probabilità che anche b potrebbe essere categorizzato con X, Y e Z. La somiglianza tra a e b viene calcolata da un punto di vista linguistico-statistico, senza cercare di rappresentare il significato di a e di b; tuttavia la comparazione non produce solo un indice di somiglianza, ma una serie di elementi comuni, ognuno con un proprio valore e un peso. In questo senso l'ontologia non è usata direttamente, in maniera forte, ma indirettamente. Non assumiamo che gli oggetti trattati abbiamo certe caratteristiche, ma solo che - con una probabilità misurabile - un esperto umano attribuirebbe certe caratteristiche comuni a certi oggetti.

3 2. Le parole del Lavoro: OpenLabor Il primo esempio di applicazione di questa metodologia viene da OpenLabor, cofinanziato all'interno dei progetti CitySDK e Commons4EU (CIP ICT/PSP). I dati aperti sono forniti dalla provincia di Roma, provenienti dai centri per l'impiego Lo schema utilizzato è il CP2011 ( La scelta dello schema è in qualche modo obbligata perché le offerte di lavoro sono categorizzate appunto tramite questa ontologia. Purtroppo la stessa cosa non è vera per le offerte formative, che usano invece una codifica diversa. Questo disallineamento ci ha costretto ha costruire un'equivalenza tra i due sistemi. CP2011 è largamente basato su ISCO08 ( che è una versione internazionale adottata nel Esiste anche ESCO ( un'iniziativa Europea che punta a mettere in relazione profesisoni, competenze e qualifiche. OpenLabor è estrema sintesi una piattaforma opensource che: preleva i dati aperti sulle offerte di lavoro preleva i dati aperti sulle occasioni di formazione professionale finanziata li categorizza tramite CP2011 e tramite una rete semantica multilingua OpenLabor è anche un'applicazione accessibile via web ( tramite app per Android/IPhone che: incrocia e filtra i dati sulla base del profilo dell'utente fa all'utente una serie di proposte mirate, sia per il lavoro che la formazione, e gli consente di condividerle con gli amici, anche attraverso canali informali come i Social Networks permette il miglioramento delle performance attraverso il feedback degli utenti Infine Openlabor : offre l'accesso ai dati attraverso API standard a sviluppatori e imprese può fornire alla PA statistiche e report in tempo reale sulle ricerche e sulle corrispondenza tra domanda e offerta Per informazioni maggiori, visitare oppure scrivere a info@lynxlab.com subject "openlabor" 3. Le parole dello stato: HOLIS Questo secondo lavoro, ancora in corso, ha come oggetto il corpus dei codici, delle leggi, nazionali e regionali, delle sentenze dei tribunali. Si tratta di un sistema di supporto alla ricerca di testi realizzato all'interno del progetto SESPIUS. Lo schema usato è un questo caso già di livello europeo. Eurovoc ( è un thesaurus multilingue creato per facilitare la traduzione e il confronto tra concetti di lingue diverse, in particolare per quanto riguarda il dominio legale. E' ricercabile online, ma è anche scaricabile in diverse versioni (anche OWL) adatte ad un trattamento automatico. Inoltre, è fortunatamente disponibile JEX (JRC EuroVoc Indexer, che è uno strumento in Java realizzato dal Joint

4 Research Group della Commissione Europea per applicare in maniera automatica EUROVOC a testi legali nelle 23 lingue previste. JEX, pur non essendo opensource, permette un certo grado di personalizzazione e configurazione. Utilizza come base per l'apprendimento un set di alcune migliaria di testi legali, marcati a mano con categorie Eurovoc. HOLIS permette l'importazione di fonti legali (preventivamente marcate secondo il formato JEX, a mano o in maniera automatica) e l'editing dell'ontologia Eurovoc usata come base di partenza. Nel suo uso standard, supporta l'utente nella navigazione nei diversi corpora filtrandoli attraverso diversi meccanismi che utilizzano la categorizzazione delle fonti e del testo della ricerca. Anche in questo caso come nel precedente, sono disponibili delle API per effettuare le ricerca da un'applicazione esterna. Per informazioni maggiori, scrivere a info@lynxlab.com subject "holis" 4. L'architettura comune Il progetto prevedeva un approccio modulare, indipendente dall'ontologia scelta. Il codice delle API è scritto interamente in Python e utilizza alcune librerie per la classificazione. La prima ipotesi è stata quella di utilizzare direttamente il formato RDF, creando quindi un database di triple interrogabili tramite un endopoint SPARQL. In pratica, non essendo disponibile una versione RDF di CP2011, e anche a seguito di valutazioni di efficienza, abbiamo deciso di ospitare le ontologie in un semplice database SQL. Ugualmente SQL è il db di Multiwordnet, usato per trovare i sinonimi, genitori e fratelli per estendere la ricerca all'interno di uno spazio semantico ragionevole. Le fasi sono tre: - preparazione dei testi per l'apprendimento (categorizzazione manuale) - apprendimento automatico (generazione del categorizzatore) - utilizzo del categorizzatore su nuovi testi La preparazione dei testi per l'apprendimento è una fase sicuramente impegnativa. La quantità dei testi da categorizzare manualmente è variabile, dipende dalle dimensioni dell'ontologia oltre che da quelle del lessico utilizzato dai testi. In pratica, quindi, dipende dalla complessità del dominio. Tipicamente possono essere necessari da qualche centinaio a qualche migliaio di piccoli testi. L'apprendimento automatico è invece la fase in cui si estraggano dai testi tutte le features linguistiche e per ognuna vengono associate una o più categorie con un peso. Su questa base si genera il classificatore. L'operazione può richiedere parecchie ore di tempo macchina, in funzione della RAM disponibile, e genera un file di qualche Gigabyte. A questo punto il classificatore è pronto per l'uso e può essere utilizzato per classificare testi nuovi. L'accesso avviene tramite webservices RESTful. Ad esempio per ottenere tutte le informazioni su una stringa di testo: Lo stesso webservice fornisce informazioni sulla tassonomia scelta. Ad esempio, per ottenere i

5 fratelli di un termine: [tassonomia]/describe/[categoria]