Interrogazione strutturata di triple RDF estratte dal linguaggio naturale

Transcript

1 UNIVERSITA DEGLI STUDI DI CAGLIARI FACOLTÀ DI SCIENZE MATEMATICHE, FISICHE E NATURALI Corso di Laurea in Informatica Interrogazione strutturata di triple RDF estratte dal linguaggio naturale Candidato: Alessandro Iacampo Docente di riferimento: Prof. Maurizio Atzori

2 Introduzione Contesto - Contenuti del World Wide Web - Tecniche per l analisi di testi non strutturati Obiettivo - Realizzare un Framework per l interrogazione di dati estratti da testi non strutturati mediante l utilizzo di triple RDF 1/15

3 Semantic Web Semantic Web Estensione per il trattamento delle informazioni contenute nel Web Agenti di controllo - Informazione con struttura elaborabile - Supporto sintattico (XML) - Supporto semantico 2/15

4 Resouce Description Framework Salvare le informazioni - Gestione attraverso metadati - Descrizione delle risorse Resource Description Framework Standard per esprimere le risorse - Soggetto: risorsa descritta - Predicato: relazione tra la risorsa e la sua proprietà - Oggetto: risorsa o letterale 3/15

5 Resouce Description Framework Come funziona <rdf:rdf xmlns:rdf=" xmlns:au=" <rdf:description about=" <au:author>dante Alighieri</au:author> </rdf:description> </rdf:rdf> Cosa offre - Semplicità nella descrizione con la quale vengono descritte le risorse - Procedure che presentano già standard Necessita dell analisi dei testi, NLP e WordNet 4/15

6 Natural Language Processing Logica basata sui livelli di astrazione Analisi lessicale - Sentence splitter - Tokenization - Black list - Stemming - Tagging Analisi sintattica - Parsing Analisi semantica - Attribuire un senso 5/15

7 WordNet Database lessicale Dizionario lessicale con memorizzazione in base ai synset Corrispondenza synset - Corrispondenza singola - Doppia su singola riga - Doppia su singola colonna Part Of Speech - Sostantivi - Verbi - Aggettivi - Avverbi 6/15

8 WordNet Database lessicale Relazioni Lessicali - Sinonimia: concetto ad uso più permissivo, descrive la similarità semantica - Antonomia: contrari con soluzioni intermedie - Relazione di pertinenza: legami tra gli aggettivi relazionali e la loro derivazione dai nomi - Relazione participiale: legami tra aggettivi o avverbi e la loro derivazione dai sostantivo o da verbi. burned -> burn - Derivato da: formano legami attraverso le derivazioni greche o latine Relazioni semantiche - Definiscono le relazioni tra i synset 7/15

9 Progettazione del Framework Situazione di partenza - Algoritmi di analisi - Database RDF Cosa si vuole progettare? - Conversazione RDF - soggetto predicato complemento Generalizzazione «Has Mark a cookie?» -> Mark has cookie -> Mark has biscuit Contenuto DB: [ ] Mark has biscuit [ ] 8/15

10 Progettazione del Framework DBpedia - Contenuti estratti da Wikipedia - Applicazione del formato RDF Generalizzazione sui predicati Domanda: «Municipality inhabitants > » 1. soggetto -> soggetto Database RDF: 2. soggetto -> complemento [ ] a. Cagliari is municipality (solo verbo essere) b. Milano is municipality 3. predicato -> synset c. Cagliari population complemento > d. Milano population Risposta: «Milano population > » [ ] 9/15

11 Progettazione del Framework Strategie per l estrazione dei sinonimi Synsets: Insieme di termini che possono essere descritti da un'unica definizione. Stem: Unico insieme singolo, restituisce la derivazione del termine Nominalizations: Si riferisce all'uso di un verbo o di un aggettivo come sostantivo. Meronyms: Rapporto tra soli sostantivi, denota una parte costituente o un membro del termine. DerivedTerms: Per gli avverbi, indica gli aggettivi da esso derivabili. VerbGroups: Per i verbi, restituisce i termini che portano significati simili. Hypernyms: Indica la categoria, campo semantico più esteso. Hyponyms: Indica un campo semantico meno esteso, una sottocategoria. Coordinates: Termini che hanno per hipernym uno stesso termine Similars: Per gli aggettivi, restituisce un gruppo di termini con significato simile. AlsoSees: Per nomi e aggettivi, suggerisce dei termini con molti synset in comune. Synonyms: Unico insieme che unisce synsets, hyponyms, similars e alsosees. 10/15

12 Sviluppo del Framework Problema della profondità - Distanza - L efficienza di ricerca non sempre aiuta - Adottare una gerarchia - Due estrazioni contemporanee Gestione dell intensità, cosa considerare? - Funzioni in base al POS - POS, Best o Every? - Intensità funzioni diverse (L1, L2) 11/15

13 Sviluppo del Framework Come operare sul confronto? Iterazioni Sinonimi predicato in input Sinonimi predicati database 1 No sinonimi No sinonimi 2 Liv.1 Best-Pos No sinonimi 3 Liv.1 Every-Pos Liv.1 Best-Pos 4 Liv.2 Best-Pos Liv.1 Every-Pos 5 Liv.2 Every-Pos Liv.2 Best-Pos 6 Liv.2 Every-Pos Liv.2 Every-Pos Predicato in input - Liv.1: v Stems, Synsets, Nominalizations; n Meronyms, Synsets, Nominalizations; a Stems, Synsets; r Synsets, DerivedTerms. Predicato in input - Liv.2: v VerbGroups, Hypernyms, Synonyms; n Synonyms, Coordinates; a Nominalizations, Synonyms; r Synonyms. Predicati DB in input - Liv.1: v Stems, Synsets, Nominalizations; n Meronyms, Synsets, Nominalizations; a Stems, Synsets; r Synsets, DerivedTerms. Predicati DB in input - Liv.2: v VerbGroups, Hypernyms; n Hyponyms, Coordinates; a Nominalizations, Similar; r Synonyms. 12/15

14 Presentazione del Framework Presentazione Inserire la tripla di ricerca _ Soggetto-Predicato-Complemento Soggetto-Predicato-? Soggetto-Predicato->Complemento Soggetto-Predicato-<Complemento 1 - Controllo di esistenza 2 - Confronto tra soggetto e sinonimi del predicato 3 - Filtraggio delle triple con predicato maggiore 4 - Filtraggio delle triple con predicato minore 13/15

15 Sviluppi futuri Database RDF: Iron is metal Iron is chemical element Iron symbol Fe Iron atomic number 26 Silver is metal Silver symbol Ag Silver Melting point C Gold is metal Gold symbol Au Gold Melting point C Bill Gates found Microsoft Microsoft founded 1975 Steve Jobs found Apple Implementazioni - Confronti tra complementi ibridi - Controllo esteso sui soggetti e complementi - Accettazione di triple con operatore di confronto nel soggetto (5 double-u) - Valutazione meticolosa del predicato (founded by) - Salvataggio delle relazioni del database 14/15

16 Conclusioni Valutazione globale ottimistica Necessità di basi di dati RDF ben costruite Riscontri al 94% su triple di DBpedia ( ricerche approfondite) 15/15

17 Grazie per l attenzione