WMS What Media Say. Riconoscimento semantico di RSS. WEB SEMANTICO 2015/16 PROF. SABRINA SENATORE

Transcript

1 Introduzione WMS What Media Say Riconoscimento semantico di RSS. WEB SEMANTICO 2015/16 PROF. SABRINA SENATORE Alfonso Guarino Gianluca Landi Antonio Leone Raffaele Schiavone Gabriele Napoli

2 Sommario 1. Introduzione Tecnologie utilizzate RDF, OWL OpenLink Virtuoso Wikipedia Miner DbPedia Apache Jena Java Servlet Tecnologie Front-End Protegè XML RSS LodLive Bitbucket AlchemyAPI Sentiment Analysis Casi d uso Funzionalità Scenari Sequence Diagram Architettura Server Client Dettagli ontologia Processo di classificazione Dettagli implementativi Crawler Query best topic LodLive Manuale d uso Cerca Topic Topic Virali Gestione RSS Sviluppi futuri Conclusioni Glossario

3 1. Introduzione What Media Say (WMS) è un progetto che nasce nell ambito del corso di Web Semantico 2015/16 dell Università degli Studi di Salerno e ha lo scopo di aiutare tutte quelle persone che vogliono restare "in contatto" con il mondo circostante in ogni momento, scoprire quali sono le notizie virali di un certo periodo, analizzare quanto un argomento d'interesse può esser stato discusso e in quali occasioni. What Media Say permette agli utenti di restare aggiornati sulle notizie dal mondo in maniera del tutto nuova, quasi dinamica, mettendo a disposizione una conoscenza senza limiti interfacciandosi con DbPedia. Tale conoscenza è pienamente navigabile senza abbandonare il dominio dell'applicazione ed è consultabile OnDemand. L idea alla base di What Media Say è quella di analizzare gli RSS forniti dalle più famose testate giornalistiche. Ogni notizia viene analizzata, filtrata e categorizzata estraendone i topic più rilevanti grazie all'integrazione con Wikipedia Miner e per ogni topic estratto, sfruttando AlchemyAPI, WMS calcola la polarità delle news ad esso associate. Nell'utilizzo dell'applicazione l'utente vivrà un'esplorazione visuale delle notizie d'interesse sfruttando la potenza grafica del tool LodLive. All interno di questa tesina: Panoramica delle tecnologie utilizzate per sviluppare WMS; Analisi degli scenari e dei casi d uso; Scenderemo nel dettaglio dell architettura di WMS; Analizzeremo l ontologia creata ad hoc per WMS; Ci focalizzeremo su alcuni dettagli implementativi; Forniremo un manuale d uso; Cercheremo di capire come WMS possa migliorare in futuro. 3

4 2. Tecnologie utilizzate 2.1. RDF, OWL Il Resource Description Framework (RDF) è lo strumento base proposto da W3C per la codifica, lo scambio e il riutilizzo di metadati strutturati e consente l'interoperabilità tra applicazioni che condividono le informazioni sul Web È costituito da due componenti: RDF Model and Syntax: espone la struttura del modello RDF, e descrive una possibile sintassi. RDF Schema: espone la sintassi per definire schemi e vocabolari per i metadati. Il modello di dati RDF è formato da risorse, proprietà e valori. Una risorsa è una qualunque entità descritta da RDF. Principalmente una risorsa è reperibile sul web, ma RDF può descrivere anche risorse che non si trovano direttamente sulla rete. Ogni risorsa è identificata da un URI, acronimo di Universal Resource Identifier. Le proprietà sono delle relazioni che legano tra loro risorse e valori, e sono anch'esse identificate da URI. Un valore, invece, è un tipo di dato primitivo, che può essere una stringa contenente l'uri di una risorsa. L'unità base per rappresentare un'informazione in RDF è lo statement. Uno statement è una tripla del tipo Soggetto Predicato Oggetto, dove il soggetto è una risorsa, il predicato è una proprietà e l'oggetto è un valore (e quindi anche un URI che punta ad un'altra risorsa). Il data model RDF permette di definire un modello semplice per descrivere le relazioni tra le risorse, in termini di proprietà identificate da un nome e relativi valori. Tuttavia, RDF data model non fornisce nessun meccanismo per dichiarare queste proprietà, né per definire le relazioni tra queste proprietà ed altre risorse. Tale compito è definito da RDF Schema. OWL (Ontology Web Language) è un linguaggio di markup per rappresentare esplicitamente significato e semantica di termini attraverso vocabolari e relazioni tra gli stessi, il cui fine è descrivere delle basi di conoscenza, effettuare delle deduzioni su di esse e integrarle con i contenuti delle pagine web. La rappresentazione dei termini e delle relative relazioni è chiamata ontologia. Insieme a RDF, di cui è un'estensione, OWL fa parte del progetto, ancora in itinere, del Web semantico. Le ontologie OWL forniscono classi, proprietà, individui e valori che è possibile memorizzare e condividere sulla rete OpenLink Virtuoso OpenLink Virtuoso è un server universale di tipo Quad-Store ed offre le caratteristiche di un triple store assieme alle capacità di un DB relazionale. Si può interfacciare con piattaforme Java e.net. Lavora facilmente in multithread e supporta i più disparati linguaggi d'interrogazione: SQL 4

5 SPARQL SPARUL XQuery XPath XSLT Offre inoltre dei reasoner integrati: OWL Schema Reasoner (per inferire automaticamente owl:sameas) RDF Reasoner (per inferire automaticamente rdfs:subclassof, rdfs:subpropertyof) OpenLink Virtuoso è supportato dai maggiori OS sul mercato: Windows UNIX Linux Mac OS X OpenLink Virtuoso ospita la Knowledge Base dell'applicazione. La scelta dell'utilizzo di questo triple store è stata dettata dall'esperienza pregressa e dalla conoscenza scaturita dal seminario tenuto al corso di Web Semantico da una parte del team Wikipedia Miner Wikipedia Miner un toolkit che consente di integrare la conoscenza di Wikipedia all interno delle proprie applicazioni. Nel nostro caso, abbiamo fatto un ampio uso del servizio wikify, in grado di individuare topic 4 all interno di un testo scritto in linguaggio naturale e correlarli ad una pagina di Wikipedia. Per lo sviluppo di What Media Say abbiamo scaricato un dump di Wikipedia italiano ed abbiamo configurato un istanza locale di Wikipedia Miner su di una macchina virtuale DbPedia DbPedia nasce dallo sforzo di una comunità web per estrarre informazioni strutturate dalla conoscenza di Wikipedia. DbPedia consente di sottoporre a Wikipedia query complesse per estrarre e collegare vari dataset di risposta. La versione inglese di DbPedia descrive 4,58 Milioni di concetti, di cui il 95% è classificato in una ontologia coerente. DbPedia classifica luoghi, persone, opere creative (musica, videogames...). Inoltre è disponibile in 125 lingue diverse, cioè 125 versioni diverse che assieme classificano circa 40 milioni di concetti. DbPedia è collegato a 50 milioni di RDF esterni. Complessivamente nel 2014 ha rilasciato 3 miliardi di triple RDF. 5

6 All'interno di What Media Say interviene nell'estrazione dei topic tramite Wikipedia Miner e ci è utile per navigare la conoscenza di Wikipedia a partire da ciò che l'applicazione ricava dai feed RSS 2 oggetto del crawling Apache Jena Apache Jena è un framework open source che fornisce API per estrarre dati e manipolare grafi RDF. La scelta di questo framework è avvalorata dal fatto che, oltre ad essere probabilmente la libreria principe per trattare RDF con il linguaggio Java, fornisce un interfacciamento su database Virtuoso tramite un apposito adapter: Virtuoso Jena Provider. Quest'ultimo è un componente di Apache Jena che permette ad applicazioni di semantic web (scritte utilizzando il suddetto framework) di interrogare direttamente lo store RDF di Virtuoso attraverso query SPARQL Java Servlet Le servlet sono oggetti scritti in linguaggio Java che operano all'interno di un server web (nel nostro caso Apache Tomcat 8.0) permettendo la creazione di Web Applications. Il nome deriva dalle Java applet che sono dei piccoli programmi scritti in linguaggio Java che si eseguono all'interno del browser dell'utente client. L'uso più frequente delle servlet è la generazione di pagine web dinamiche a seconda dei parametri di richiesta inviati dal client browser dell'utente al server. I programmi che implementano le specifiche delle servlet possono girare all'interno di qualunque servlet container e non sono vincolati ad un particolare server. Lo standard delle servlet rientra all'interno di un vasto insieme di standard detto Java EE. Sotto quest'ottica una servlet è un programma che deve rispettare determinate regole e che processa in un determinato modo una richiesta HTTP. Nulla vieta che all'interno dello stesso server web possano girare più servlet associate a URL diversi, ognuna delle quali farà cose diverse ed estenderà le funzionalità del server web. What Media Say fa largo uso di servlet Java per implementare la componente back-end e di conseguenza la comunicazione tra client e server Tecnologie Front-End Gli strumenti utilizzati per la progettazione dell interfaccia grafica di What Media Say sono: HTML5: linguaggio mark-up per la stesura di pagine web. CSS3: linguaggio di stylesheet utilizzato per definire l aspetto di contenuti web. In particolare abbiamo utilizzato le librerie BootStrap per rendere i contenuti più accattivanti e responsive. JavaScript: linguaggio di scripting client-side utilizzato per effettuare richieste asincrone verso il server. 6

7 2.8. Protegè Protégé è un editor OpenSource per ontologie. Fornisce un interfaccia grafica per la creazione di ontologie. Inoltre include un classificatore deduttivo per la validazione e per inferire nuove informazioni a partire da una ontologia. Come Eclipse, Protègè permette l integrazione di vari Plug-in. Visto a lezione di Web Semantico ci è sembrato il modo più semplice per creare la struttura dell'ontologia ad hoc di What Media Say XML RSS 2.0 RSS (RDF Site Summary) è il formato più popolare per la diffusione di contenuti web. L'applicazione principale per cui è noto sono i flussi che permettono di essere aggiornati su nuovi articoli o commenti pubblicati nei siti di interesse senza doverli visitare manualmente uno a uno. La struttura base degli RSS è la seguente: un elemento <channel>, che contiene le informazioni sulla fonte dei contenuti (nel caso di un quotidiano online potrebbe contenere il nome della testata, la data di pubblicazione, informazioni sul copyright, ecc.) una serie di elementi <item>, ognuno dei quali corrisponde ad un singolo elemento di contenuto (ad es. l'articolo di un giornale) e ne presenta tutte le informazioni (titolo, testo completo, nome dell'autore, ecc.) Il formato di RSS che What Media Say utilizza è il 2.0 i cui elementi addizionali permettono l'implementazione di funzionalità che consentono l'iscrizione al feed (per ricevere notifiche automatiche quando il feed viene aggiornato). Gli RSS sono alla base di What Media Say. Analizzarli opportunamente è il nostro obiettivo ed è ciò che facciamo LodLive LodLive è realizzato interamente in Javascript, si compone di un plug-in jquery (LodLive-core), un file JSON di configurazione (LodLive-profile), una pagina HTML, poche immagini (sprites) e alcuni plug-in pubblici. LodLive è in grado di connettere le risorse presenti negli endpoint configurati al suo interno, consentendo all'utente di passare da un endpoint all'altro sfruttando le capacità di interconnessione insite nella LOD. LodLive è gratuito, open source e pronto per essere utilizzato da subito, viene rilasciato sotto licenza MIT ed è facilmente integrabile nelle proprie applicazioni. È il primo navigatore di risorse RDF basato unicamente su endpoint SPARQL. LodLive associa le potenzialità di un browser RDF all'efficacia della rappresentazione a grafo. Sfruttando 7

8 opportunamente le potenzialità di LodLive riusciamo a navigare la nostra ontologia a partire dal topic virale d'interesse Bitbucket Lavorando spesso individualmente ci è stato di grande aiuto una piattaforma di lavoro asincrono per il mantenimento del codice. Bitbucket.org offre gratuitamente agli sviluppatori un repository Git per il versionamento e il mantenimento del codice. La scelta di utilizzare BitBucket è basata sul fatto che altri tool che offrono funzionalità di simili, come GitLab, sono difficilmente raggiungibili dalla rete universitaria a causa del DNS interno, e ogni spostamento ci avrebbe costretto a riconfigurare più e più volte i riferimenti al repository git. Grazie a questo strumento il lavoro è proceduto in modo molto più agile AlchemyAPI AlchemyAPI, una società di IBM, sfrutta l apprendimento automatico (deep learning) per fare elaborazione di linguaggi naturali e computer vision. Per quanto concerne la computer vision, AlchemyAPI si concentra soprattutto sul rilevamento e riconoscimento facciale. Per quanto riguarda, invece, l elaborazione di linguaggi naturali, mette a disposizione ben 12 API differenti per aggiungere informazioni ad alto livello: Estrazione entità; Estrazione keywords; Tag di concetti; Analisi del sentimento; A partire dal 2014 AlchemyAPI ha dichiarato di processare oltre 3 miliardi di documenti al mese e ProgrammableWeb ha aggiunto AlchemyAPI alla sua lista di API miliardarie. WMS sfrutta AlchemyAPI per estrarre il sentimento di una news (sentiment analysis) Sentiment Analysis La sentiment analisys non è tanto una tecnologia quanto una metodologia, infatti indica il processare linguaggi naturali per identificare ed estrarre informazioni di alto livello quali la polarità. La polarità è un valore assegnato ad un testo o una parola sulla base di un algoritmo prefissato. L algoritmo valuta il testo o la parola assegnando uno score che può variare da un x ad un y scelti ad hoc. Lo score viene assegnato sulla base di tono, intensità ed emotività. Il range di valori determina se quel concetto esprime un sentimento positivo, neutrale o negativo. 8

9 3. Casi d uso Funzionalità L applicazione mette a disposizione dell utente quattro funzionalità: Ricerca topic: Tramite questa funzionalità l utente inserisce una frase in linguaggio naturale. Il sistema, a partire dalla frase inserita, estrae i topic utilizzando il servizio wikify e permette all utente di sceglierne uno per avviare l esplorazione della base di conoscenza; Topic Virali: Questa sezione permette all utente di conoscere i topic più virali per una data categoria 1 in un intervallo di tempo grazie all esecuzione di query sulla base di conoscenza creata e arricchita periodicamente tramite il crawler di news RSS. Al caricamento di questa pagina sono mostrate all utente le categorie presenti all interno della Knowledge Base con il il numero di RSS associati. Scelta la categoria, l utente può scegliere l intervallo di date in cui ricercare i topic. Presi in input la categoria e l intervallo di date, viene eseguita la query sul triple store, la quale restituirà una lista di topic filtrata per categoria, per intervallo di date e ordinata per il maggior numero di news 3 in cui ogni topic è menzionato. L utente cliccando su un topic virale, ha la possibilità tramite l utilizzo del software lodlive, di esplorare quel topic, ovvero visualizzare tutte le news collegate ad esso. Inoltre cliccando sulla news all interno di lodlive, è possibile visualizzare il titolo, una breve descrizione e il link del giornale che ha pubblicato la news; Aggiungi Categoria: Con questa funzionalità l utente può inserire una Categoria di feed RSS dalla quale WMS potrà prelevare dati; Aggiungi RSS: Con questa funzionalità l utente ha la possibilità di inserire un nuovo link RSS alla lista dei feed di una categoria, permettendo di estrarre nuove news da altri giornali. 9

10 3.12. Scenari Qui di seguito vengono specificati gli scenari in cui l utente può trovarsi. Nome scenario : Flusso degli eventi: Topic Virali 1. Un utente si collega alla home page della web app 2. Il sistema mostra una schermata di benvenuto, con un menù che dà la possibilità di scegliere le funzionalità. 3. L utente clicca su Topic Virali. 4. Il sistema mostra una tabella che contiene le Categorie, secondo le quali sono raggruppate le news. 5. L utente clicca sulla voce Tecnologia, inoltre grazie a un calendario filtra le news in base alla loro data di pubblicazione e preme INVIO. 6. Il sistema mostra una tabella contente i topic di maggior rilevanza presenti in quell arco di tempo. 7. L utente clicca sulla voce Apple. 8. L applicazione apre una schermata che attraverso il software LodLive permette all utente di navigare la base di conoscenza a partire dal topic Apple. 9. L utente a questo punto può visualizzare cos è Apple grazie all interfacciamento con DBpedia oppure visualizzare le notizie dove il topic è menzionato. L utente apre le notizie. 1. Il sistema mostra i nodi relativi alle notizie che menzionano il topic. 10. L utente può aprire il link della news oppure continuare l esplorazione. In questo caso l utente può dedurre che il topic Apple non viene menzionato solo in un contesto (categoria) Tecnologico, ma potrebbero essere presenti delle notizie relative all andamento dell azienda in borsa, in questo caso il topic Apple viene menzionato in un contesto (categoria) Economico. 10

11 Nome scenario : Flusso degli eventi: Ricerca Topic 1. Un utente si collega alla home page della web app 2. Il sistema mostra una schermata di benvenuto, con un menù che da la possibiltà di scegliere le funzionalità. 3. L utente clicca su Ricerca Topic. 4. Il sistema mostra una barra di testo, dove l utente andrà a scrivere il testo della sua query. 5.L utente inserisce il testo Putin: Voglio una coalizione mondiale contro il terrorismo. 6. Il sistema mostra una tabella contente i topic estrapolati dalla query in linguaggio naturale, in questo caso il sistema restituisce Putin, coalizione e Terrorismo 7. Selezionando uno dei topic, l utente può avviare l esplorazione della base di conoscenza 8. L applicazione apre una schermata che attraverso il software LodLive permette all utente di navigare la base di conoscenza a partire da un topic. Nome scenario : Flusso degli eventi: Aggiungi Categoria 1. Un utente si collega alla home page della web app 2. Il sistema mostra una schermata di benvenuto, con un menù che da la possibiltà di scegliere le funzionalità. 3. L utente clicca su Gestione RSS. 4. Il sistema mostra una tabella contenente le Categorie presenti attualmente nella Knowledge Base e un tasto + per l aggiunta di nuove categorie. 5.L utente clicca sul tasto + per aggiungere una nuova Categoria 6. Il sistema mostra una form che permetterà all utente di inserire il nome di una nuova Categoria. 11

12 7. Inserito il nome della nuova Categoria, il sistema inserisce la nuova Categoria all interno della base di conoscenza. Nome scenario : Flusso degli eventi: Aggiungi RSS 1. Un utente si collega alla home page della web app 2. Il sistema mostra una schermata di benvenuto, con un menù che da la possibiltà di scegliere le funzionalità. 3. L utente clicca su Gestione RSS. 4. Il sistema mostra una tabella contenente le Categorie presenti attualmente nella Knowledge Base. 5.L utente clicca su una delle Categorie presenti nell elenco. 6. Il sistema mostra tabella dove sono presenti i link RSS disponibili per quella categoria. Inoltre il sistema mostra un tasto + per l aggiunta di un nuovo link. 7.L utente clicca sul tasto + per aggiungere un nuovo link RSS. 8. Il sistema mostra una form che permetterà all utente di inserire l indirizzo dove sarà possibile le notizie in formato RSS. 9. Inserito il link, il sistema inserisce il nuovo RSS all interno della base di conoscenza. 12

13 3.13. Sequence Diagram Ecco il sequence diagram relativo allo scenario Aggiungi categoria : Qui di seguito il sequence diagram inerente lo scenario Aggiungi RSS : 13

14 Di seguito il sequence diagram dello scenario Ricerca Topic : Infine, ecco il sequence diagram relativo a Ricerca Topic Virali : 14

15 4. Architettura Schema dell architettura: Server Application Server: nel nostro caso Apache Tomcat, è una tipologia di server che fornisce le funzionalità di supporto e sviluppo di servlet. WMS: rappresenta il core della nostra applicazione, qui è implementata tutta la business logic. KB (Knowledge Base): è il componente che astrae la nostra base di conoscenza, interfacciandosi con il Triple Store. RSS Crawler: una libreria che a partire da link RSS estrapola le informazioni pubblicate dai giornali in formato XML. Alchemy API: il modulo esterno che ci permette di effettuare Sentiment Analysis. 15

16 Wikipedia Miner: il modulo che ha il compito di utilizzare il servizio wikify per estrapolare i topic principali dalle news. SPARQL EndPoint: componente che permettere di effettuare query sul Triple Store. Triple Store: database sviluppato appositamente per la gestione di triple RDF, nel nostro caso è OpenLink Virtuoso Client Browser: l utente ha la possibilità di accedere all applicazione attraverso il browser collegandosi all indirizzo della home page di WMS. WMS ClientSide: la componente include tutta la tecnologia client side utilizzata per la stesura dell applicazione, HTML, CCS e JavaScript. LodLive: ci permette, a partire da risultato della query effettuata dal sistema, di esplorare graficamente la base di conoscenza. 16

17 5. Dettagli ontologia Il seguente schema rappresenta la modellazione della base ontologica utilizzata dal sistema WhatMediaSay: Attraverso la classe wms:category nel triple store vengono memorizzate le categorie (es. Sport, Cronaca, Politica, ecc..) utilizzate dai siti web di quotidiani per indicizzare i feed RSS. La lista delle URL dei feed RSS è memorizzata in (wms:url). Un istanza della classe wms:rss rappresenta all interno della base di conoscenza la fonte di un feed RSS e, attraverso la data property wms:url, fornisce al crawler RSS la locazione del file.xml da dare in input al parser. La relazione wms:hascategory memorizza inoltre la categorizzazione fornita dalla fonte giornalistica. La classe wms:news viene utilizzata per memorizzare le news ottenute attraverso il crawler RSS, salvando all interno del triple store il titolo (wms:title), una breve descrizione (wms:description), data di pubblicazione in formato xsd:date (wms:pubdate) e la URL che punta alla pagina della news sul sito della fonte (wms:url). La data property wms:sentimentscore invece viene utilizzata per memorizzare il punteggio ottenuto dalla sentiment analysis effettuata tramite AlchemyAPI. Attraverso la classe wms:topic vengono memorizzati i risultati della classificazione degli argomenti di una news, correlati attraverso la relazione wms:hastopic alla relativa istanza di wms:news. Inoltre, durante la classificazione, se viene identificato un nuovo topic ancora non presente nella knowledge base, questo viene creato e relazionato al corrispondente concetto nella base di conoscenza di DBPedia attraverso una relazione owl:sameas. Configurando opportunamente LodLive per comunicare oltre che con la nostra base di conoscenza anche con l endpoint SPARQL fornito da it.dbpedia.org, questa relazione permette di aggiungere notevole conoscenza su tutti i topic di WhatMediaSay, esplorabile visualmente tramite LodLive 17

18 6. Processo di classificazione In questo capitolo analizzeremo il flusso che segue l applicativo per ottenere e classificare le news dalle fonti RSS, in modo da popolare in maniera automatica la knowledge base alla base di WhatMediaSay. Di seguito è schematizzato il workflow relativo processo di classificazione: Analizziamo nel dettaglio il funzionamento di ogni componente: RSS Crawler Input La URL di un XML in formato XML/RSS 2.0 (es. Output Una lista di oggetti di tipo News Il modulo RSS Crawler ha lo scopo di ottenere le news rese disponibili sulla rete internet tramite un feed RSS. Una volta ottenuto il file XML a partire dalla sua URL, un apposito parser istanzia una lista di oggetti di tipo News, che mantiene le quattro informazioni principali della notizia: titolo, descrizione, pubdate e URL. Input Output Wikipedia Miner Una lista di oggetti di tipo News Una lista di oggetti di tipo News, arricchita con i topic estratti classificando i titoli delle notizie attraverso il servizio wikify() Le news ottenute al passo precedente vengono passate al modulo di Wikipedia Miner che, utilizzando il campo <titolo> della notizia, classifica le news ottenendo i topic inerenti. È importante sottolineare 18

19 che ad ogni topic restituito da Wikipedia Miner corrisponde esattamente un concetto nella base di conoscenza di DBPedia. Inoltre, le news ottenute vengono anche passate al modulo di AlchemyAPI, preposto al calcolo del sentimento. Input Output Knowledge Base Una lista di oggetti di tipo News, arricchita con i topic inerenti ad essa Inserisce nel triple store le News e gli eventuali nuovi topic Le news classificate vengono infine passate al modulo Knowledge Base che si occupa della memorizzazione all interno del triple store. Prima dell inserimento, viene verificato che non esistano già News che puntano alla URL che sta per essere inserita: questo controllo ci assicura del fatto che non potranno esserci news duplicate. Una verifica di questo tipo è molto importante poiché i feed RSS contengono solitamente le news degli ultimi 3-4 giorni e un esecuzione periodica del servizio di classificazione potrebbe portare ad un numero davvero notevole di duplicati. Inoltre viene istanziata una relazione di tipo owl:sameas tra i topic ottenuti e i corrispondenti concetti nella base di conoscenza di DBPedia. Questa relazione fornisce una maggiore conoscenza esplorabile tramite LodLive. 19

20 7. Dettagli implementativi In questo capitolo andremo ad analizzare alcuni dei più interessanti dettagli implementativi di WMS. I punti che verranno descritti più approfonditamente saranno: Crawler: fetch delle news dai feed RSS e inserimento nella Knowledge Base; Query Best Topics; Come WMS sfrutta LodLive; Negli screenshots di codice che seguono, si fa largo uso della classe KnowledgeBase. Attraverso essa, WMS si connette con il quad store ospitato da OpenLink Virtuoso. KnowledgeBase ha tutti i metodi di inserimento, update e remove per modificare opportunamente la base di conoscenza. 7.1 Crawler Il crawler è il core di WMS, poiché, grazie ad esso viene popolata periodicamente la base di conoscenza aggiungendo news dai vari feed RSS. Il metodo updatenewsinkb() prende in input un oggetto kb di tipo KnowledgeBase. La prima operazione ad essere eseguita, è il prelievo di tutti i feed RSS all interno del quad store: questa operazione avviene attraverso il metodo getrss() dell oggetto kb. Ogni RSS presente in questa lista viene dato in input al metodo getnewsfromrss(). Il metodo svolge un parsing di file in formato RSS 2.0, ovvero un di XML suddiviso in tag <item> dove ogni item rappresenta una notizia con all interno 4 campi: titolo, descrizione, data di pubblicazione e link. Il parser costruisce un oggetto News con i relativi campi descritti precedentemente ed in più, all oggetto News aggiunge una lista di topic estratti tramite il metodo getcategoriesfrometext() che utilizza il servizio di Wikipedia miner, inoltre, viene calcolato il sentimento della news tramite l API di Alchemy con il metodo getsentimentscore() passandogli in input il titolo della news analizzata. 20

21 Ogni oggetto News presente nella lista è inserito all interno della base di conoscenza tramite il metodo insertnews(news) di KnowledgeBase. Nell immagine sottostante è mostrato insertnews() che inizialmente controlla se la URL è già presente nella base di conoscenza, ed in caso negativo esegue una query sparql tramite Jena sull endpoint Virtuoso Query best topic All interno della sezione Topic Virali di WMS l utente sceglie la categoria e l intervallo di date in cui vuole ricercare i topic più discussi. C è stato il bisogno di costruire un metodo che interrogasse la base di conoscenza per poi restituire i risultati migliori. Il metodo in questione è getbesttopics() che in input prende l URI associata alla categoria scelta dall utente e l intervallo di date preferite, in output restituisce una mappa <Topic,Integer>. La chiave è un oggetto Topic; questi ha due valori: URI e name. Il valore è Integer che rappresenta il numero di news che sono associate a quel topic. 21

22 Il metodo che include la relativa query all endpoint Virtuoso è visibile di seguito. La query seleziona tutti i topic ordinandoli in maniera decrescente per il maggior numero di news correlate ad essi e, ovviamente, ogni news è filtrata per range di data di pubblicazione. È importante notare l utilizzo della filter nella query SPARQL per definire l intervallo di date: l utilizzo del costrutto in questa forma è possibile grazie al fatto che le date prima di essere memorizzate vengono convertite nel formato ISO 8601 per poi essere salvate con il tipo xsd:date. 22

23 7.3. LodLive L utilizzo di LodLive è stato di fondamentale importanza per permettere a WMS di garantire l esplorarazione grafica della base di conoscenza partendo da un determinato topic. Avendo il sorgente del codice è stato possibile apportare modifiche in alcuni punti per raggiungere gli obiettivi prefissati. La modifica più semplice, ma sostanzialmente più importante apportata, a LodLive è stata effettuata all interno del file profile.js. All interno di esso sono definiti i parametri di connessione con gli endpoint su cui si interfaccia il tool LodLive. Vista l esigenza di utilizzare due base di conoscenza, quella di WMS (dove risiedono tutte le info ricavate dai feed RSS) e quella di DBPedia, sono state inserite all interno del file le URI e Nel codice sottostante è possibile evincere la modifica di cui sopra. 23

24 8. Manuale d uso Per aiutare l utente nell utilizzo delle funzionalità messe a disposizione di What Media Say, qui di seguito, riportiamo alcuni screenshots esplicativi. Consultando questi ultimi l utente potrà vivere un esperienza trasparente con WMS Cerca Topic L utente accedendo alla pagina Cerca Topic di WMS ha la possibilità di effettuare una ricerca di topic in linguaggio naturale. Basta semplicemente digitare nella barra di ricerca visualizzata il testo o la parola d interesse. WMS suggerisce all utente dei topic estratti dal testo inserito precedentemente. Con un banale click si potrà navigare la conoscenza di WMS. 24

25 Scegliendo il primo topic David Bowie, la potenza grafica di WMS permetterà l esplorazione visuale delle notizie relative. Inizialmente comparirà una sola sfera che definisce il topic selezionato. Cliccando sulla sfera compariranno delle piccole sfere vuote che rappresentano le news correlate a David Bowie. La navigazione visuale avviene cliccando di volta in volta su una sfera e successivamente sulle piccole sfere che compaiono di volta in volta. Nello screenshot sottostante sono state aperte quattro news e all interno di ciascuna sfera vediamo visualizzato parte del titolo della news che rappresentano. Navigando ulteriormente la news è possibile conoscere a qualche categoria appartiene: nell esempio vediamo sia notizie appartenenti alla categoria Cultura, sia notizie appartenenti alla categoria Tecnologia. 25

26 È possibile conoscere ulteriori dettagli su di una singola news cliccando il pallino riportante il simbolo del documento. Vediamo che cliccando sulla news David Bowie tecnologo visionario è possibile leggere il testo della news oltre che essere linkati direttamente al sito che ha prodotto la news. Qui di seguito un esempio di ciò che appare cliccando su un URL relativo ad una news. 26

27 8.12. Topic Virali L utente accedendo alla pagina Topic Virali di WMS ha la possibilità di effettuare una ricerca dei topic più discussi dal mondo. Selezionando semplicemente la categoria e un range di date in cui ricercare (opzionale), un clic su Invia permetterà di visualizzare i topic virali (in quel lasso di tempo, se definito). Nell esempio riportato abbiamo selezionato la categoria Tecnologia, non abbiamo definito un range di ricerca per date, selezionando Tutte, e, tra i topic virali restituiti, abbiamo deciso di navigare il topic Apple. Si può notare, inoltre, che accanto a ciascun topic virale è presente una emoji. Tale emoji indica la polarità del topic in base all analisi del sentimento di ciascuna notizia che è correlata a quel topic. L espressione dell emoji (faccina) cambia in base al risultato della media tra le polarità delle suddete news. In questo esempio la maggioranza dei topic ha una polarità positiva, infatti tutte le faccine sono sorridenti o felici. Da precisare che il range sul quale lavora WMS per il calcolo del sentimento varia in [-1,1] R. Il range è stato suddiviso in 5 fasce, corrispondenti a 5 emoji con espressioni diverse. Vediamole nel dettaglio. Tabella riassuntiva polarità->emoji Range polarità Emoji Descrizione [0.6,1] Very Happy [0.2,0.6] Happy [-0.2,0.2] Indifferent [-0.6,-0.2] Sad [-1,-0.6] Very Sad 27

28 Come descritto nella funzionalità precedente, una volta selezionato il topic d interesse, è possibile esplorare la conoscenza di WMS in maniera grafica. Le modalità di esplorazione sono le medesime. In questo esempio è possibile notare che, come sopra, due notizie che menzionano lo stesso topic appartengono a categorie diverse tra loro e possiamo inoltre evincere la relazione <owl:sameas> tra il topic Apple ed il concetto Apple Apple Inc. di DBPedia. Navigando ulteriormente a partire dal concetto di DBPedia l utente ha la possibilità di esplorare la vastissima conoscenza di Wikipedia Gestione RSS L utente accedendo alla pagina Gestione RSS di WMS ha la possibilità ampliare la conoscenza di WMS aggiungendo nuove cateogorie e/o nuovi Feed RSS. Nello screenshot seguente si nota come con un clic sul tasto + compare un campo dove l utente può inserire la categoria che preferisce. 28

29 Cliccando invece su una categoria, vengono visualizzati i feed RSS da cui WMS preleva le news. Sempre cliccando il tasto + si potrà aggiungere un Feed RSS. 29

30 9. Sviluppi futuri Il futuro di WMS è tutto da scrivere. Attualmente si potrebbe definire un applicazione in fase BETA, ma il team di sviluppo ha già pensato ai possibili improvements. Vediamoli uno ad uno. Gestione degli utenti. Al momento WMS non gestisce gli utenti, non vi è una pagina di login e l utente non può personalizzare l applicazione. La gestione degli RSS è attualmente embrionale in quanto chiunque apporta modifiche cambia per sempre il funzionamento di WMS sia per sé stesso che per tutti coloro che lo utilizzano. È infatti poco raccomandabile modificare le fondamenta del crawling di WMS a meno di non esser certi di ciò che si sta facendo. Nel prossimo futuro il team di sviluppo si impegnerà affinché WMS possa gestire gli utenti e permettergli una personalizzazione senza eguali, in modo che ognuno possa navigare solo le news che più gli interessano. Integrazione in tutte le lingue. WMS nasce solo per utenti che conoscono l italiano. Abbiamo detto però che DBPedia offre conoscenza per 125 lingue diverse che assieme classificano 40 milioni di concetti. WMS si prefigge, tra qualche anno, un integrazione con le lingue più parlate al mondo: inglese, francese, spagnolo, arabo, cinese Sfruttando nel miglior modo possibile le relazioni <owl:sameas> tra i concetti delle varie versioni di DbPedia, integrando Google Translate in modo trasparente e potendo così godere di un vastissimo numero di Feed Rss su cui poter fare crawling, rendendo l applicazione alla portata di tutti gli utenti, di qualsiasi nazione, di qualsiasi lingua. Interfacciamento con le ontologie adhoc per ciascuna categoria. Nella fase BETA WMS si interfaccia solamente con l ontologia di DBPedia. Quello che vogliamo fare in futuro è permettere l interfacciamento con altre ontologie di supporto, ontologie più specifiche per le categorie di news prese in considerazione. Ad esempio per la categoria sport la BBC ha una ottima ontologia (consultabile qui che sarebbe di grandissimo supporto a WhatMediaSay. Non è finita qui perché ci sono tantissimi progetti che lavorano per creare una ontologia del Cinema che racchiuda non solo il cinema che tutti noi siamo abituati a conoscere, ma anche il cinema orientale, ai più sconosciuto perché non blasonato come quello Hollywoodiano. Integrare queste ontologie esterne, più fitted (gli inglesi direbbero) sulle categorie delle news, renderebbe i risultati di WMS ancora più consistenti. Sharing. Qualunque applicazione ha la possibilità di condividere contenuti. WMS più di tutte dovrebbe avere questa funzionalità, e l avrà. Gli sviluppatori vogliono mettere a disposizione dell utente la possibilità di condividere il contenuto della loro informazione sui maggiori social: Facebook, Twitter Questi sono solo alcuni dei possibili miglioramenti che What Media Say potrebbe fornire nel futuro a breve e medio termine a tutti gli utenti che vogliono informarsi con modalità del tutto nuove. 30

31 10. Conclusioni What Media Say è un applicazione che permette di ottenere informazioni di interesse in modo semplice e veloce. WMS analizza gli RSS forniti dalle più famose testate giornalistiche; ogni notizia viene analizzata, filtrata e categorizzata estraendone i topic più rilevanti. Grazie a lodlive, a partire dal topic scelto, si possono visualizzare tutte le news collegate ad esso, oltre a poter visualizzare il titolo, una breve descrizione ed il link del giornale che ha pubblicato la news. Il tutto in un unica applicazione! Non poche sono state le difficoltà incontrate durante lo sviluppo di WMS. Il team ha dovuto innanzitutto entrare nel mondo delle news, degli RSS, capire la loro struttura e come manipolarli nel migliore dei modi. Successivamente ha dovuto creare una base di conoscenza adatta ad ospitare tutte le news ed a collegarle tra loro in modo coerente. Fortunatamente Protègè ha permesso una creazione semplice ed intuitiva dell ontologia. Il team si è inoltre cimentato nell utilizzo del tool LodLive, modificandone, in parte, l implementazione di base, arricchendo ciò che già c era per favorire la lettura e la navigazione delle news da parte dell utente medio di WMS, in modo che tutto fosse il più intuitivo possibile. 31

32 11. Glossario 1. Categoria: prima suddivisione delle notizie, effettuata direttamente dalla testata giornalistica. 2. Feed RSS: è un'unità di informazioni formattata secondo specifiche (XML) stabilite precedentemente. Nel nostro caso si tratta di RSS, tecnologia utilizzata per lo scambio di notizie. 3. News: notizia singola estrapolata a partire da un feed RSS fornito dai giornali. 4. Topic: rappresenta il concetto estrapolato da una notizia grazie al tool Wikipedia Miner. Il topic estrapolato è mappato su un concetto già presente in Wikipedia. 32