SenTaClAus - Sentiment Tagging & Clustering Analysis on web & social contents

Transcript

1 Via Marche Pisa Phne Fax P.IVA REGIONE TOSCANA POR CReO FESR LINEA D INTERVENTO 1.5.a BANDO UNICO R&S ANNO 2012 SenTaClAus - Sentiment Tagging & Clustering Analysis n web & scial cntents D3.3.2: Rapprt sulle verticalizzazini/estensini realizzate 1.0

2 1. ABSTRACT RIFERIMENTI DOCUMENTI DI RIFERIMENTO BIBLIOGRAFIA DEFINIZIONI E ACRONIMI VERTICALIZZAZIONI / ESTENSIONI CLASSIFICAZIONE AUTOMATICA SIMILARITÀ FRA TESTI ATTIVITÀ... 5 SenTaClAus- D3.3.2: Rapprt sulle verticalizzazini/estensini realizzate v. 1.0 pag. 2 di 5

3 1. Abstract Scp del presente dcument è quell di presentare le evluzini realizzate per il sftware di anntazine semantica di testi TagMe. 2. Riferimenti 2.1 Dcumenti di Riferiment Dcumenti dell'allegat 2 della dmanda di prgett SenTaClAus D Pian di Prgett e della Qualità 2.2 Bibligrafia [1] Pal Ferragina, Ug Scaiella, Fast and accurate anntatin f shrt texts with Wikipedia pages, Technical Reprt at [2] Daniele Vitale, Pal Ferragina, and Ug Scaiella. Classificatin f shrt texts by deplying tpical anntatins. In Prceedings f the 34th Eurpean cnference n Advances in Infrmatin Retrieval (ECIR'12) [3] Fabrizi Sebastiani. Machine learning in autmated text categrizatin. ACM Cmput. Surv. 34, 1 (March 2002) [4] Ug Scaiella, Pal Ferragina, Andrea Marin, and Massimilian Ciaramita. Tpical clustering f search results. In Prceedings f the fifth ACM internatinal cnference n Web search and data mining (WSDM '12) Definizini e acrnimi 4. Verticalizzazini / estensini 4.1 Classificazine autmatica È stat implementat un meccanism di classificazine autmatica basata sulla anntazine semantica frnita dal sistema. La linea guida per l svilupp di questa verticalizzazine è stat l articl scientific [2] che illustra in maniera dettagliata i mdi e le ptenzialità di tale strument. Il sistema risulta veramente efficace nel classificare autmaticamente testi mlt brevi, dve le c-ccrrenza dei termini è mlt bassa. In sistemi di classificazine tradizinali, basati sul paradigma bag-f-wrds (BOW) dve le c-ccrrenze sn fndamentali, la gestine di dcumenti brevi può essere un prblema. Altr prblema che quest sistema rislve efficacemente è il csiddett tpic-drift [3] tipic della classificazine autmatica di ntizie di girnale, vver la difficltà di classificare dcumenti quand il mdell di classificazine è stat addestrat mlt temp prima. Spess in quest cntest, i metdi classici falliscn e srge quindi la necessità di addestrare nuvamente il classificatre per essere al pass cn le nuve keywrd. Basandsi su cncetti ed entità, le cui crrelazini vengn aggirnate cl passare del SenTaClAus- D3.3.2: Rapprt sulle verticalizzazini/estensini realizzate v. 1.0 pag. 3 di 5

4 temp (perché il graf estratt da Wikipedia viene aggirnat almen una vlta al mese), il sistema cme evidenziat in [2] nn sffre cmunque sffre in misura significativamente inferire del prblema del tpicdrift. Il sistema inltre permette la creazine del mdell anche in maniera manuale. Resta sempre valid un apprcci tradizinale, secnd le tecniche rmai cnslidate del machine-learning: la creazine del mdell di classificazine può avvenire utilizzand test-bed precedentemente classificati a man dai quali è pssibile estrarre le entità ricrrenti per gni categria. Nell articl già citat [2], è mstrat cme quest sia pssibile e prti a risultati all stat dell arte. In quest prgett, è stata implementata un interfaccia che cnsente all utente di sttmettere un prpri mdell di classificazine di testi, secnd un frmat prestabilit. Quest può essere creat manualmente senza il bisgn di un training ad hc, che richiede una cllezine di dcumenti già classificati, slitamente difficile da reperire cmunque cstsi. Il mdell infatti cnsiste nella definizine di una lista di classi e per gnuna di esse è pssibile specificare l entità le entità che la rappresentan cn un valre che ne indica l imprtanza. L algritm di classificazine nn cerca nel test da classificare l ccrrenza esatta dell entità specificate nelle classi, ma sfruttand il graf di Wikipedia e le misure di crrelazine già implementate e utilizzate negli algritmi di disambiguazine dell anntatre, può identificare la classe in maniera efficace a prescindere dalle cccrrenze. In quest md è pssibile per l utente cstruirsi manualmente un mdell che da subit può ttenere una buna precisine di classificazine senza la necessità di un training-set di dimensini ntevli. Il servizi prevede anche la gestine del mdell tramite una interfaccia REST che permette la cnsultazine, la mdifica e l inseriment di nuvi mdelli di classificazine per utente. Attualmente il tutt viene memrizzat in un database relazinale. Particlare attenzine è stata cmunque psta nella strutturazine di questi meccanismi per la gestine dei dati utenti, sprattutt da un punt di vista della scalabilità. Il sistema è predispst per la gestine efficiente di questi mdelli: dal punt di vista implementativ infatti nn sn state fatte assunzini di srta sul mdell di memrizzazine. Fndamentalmente il sistema assume che il meccanism di memrizzazine supprti un mdell chiave-valre, e nn si basa su specifiche feature frnite da un DBMS. In quest md è pssibile strutturare il servizi in maniera tale che il meccanism di persistenza sia in realtà cmpst da più livelli, cn strumenti di caching nel mezz per favrirne l efficienza e sprattutt la scalabilità. Una vlta quindi definit il mdell e caricat nella base dati del sistema, è pssibile sttmettere un test, specificand l identificativ del mdell cn il quale eseguire la classificazine. L anntatre semantic prvvede pi ad anntare il test ed estrarre le entità rilevanti. Infine il classificatre cerca di effettuare un matching fra le entità estratte nel test e quelle definite nelle single classi, frnend cme risultat un vettre di pesi per gni classe del mdell, dve i valri più alti rappresentan un matching più strett. L perazine di matching tra le entità del test e le entità del mdell avviene sempre utilizzand quella misura di crrelazine semantica fra entità basata sull analisi del graf di Wikipedia, che permette quindi di ttenere cllegamenti semantici ntevli. 4.2 Similarità fra testi È stat implementat un strument di calcl della similarità fra testi, sfruttand la rappresentazine del test a graph-f-tpic [3] rispett a quella a bag-f-wrds. Tale strument è in grad di calclare la similarità fra due testi anche mlt brevi e che nn cntengn parle in cmune,, al cntrari, interpretare un test per identificare una bassa crrelazine anche in presenza di parle c-ccrrenti. Cme è facile intuire, tale strument risulta mlt ptente se applicat a testi brevi e quindi si inserisce nel cntest di integrazini e ampliament della famiglia di API che il prgett frnisce per il trattament di testi prveniente sprattutt da web e scial netwrks. L algritm è simile a quell sviluppat per la classificazine, dve il matching avviene fra due sli gruppi di entità: l utente infatti sttmette due testi e questi vengn anntati dal sistema di anntazine semantica SenTaClAus- D3.3.2: Rapprt sulle verticalizzazini/estensini realizzate v. 1.0 pag. 4 di 5

5 che restituisce due gruppi di entità. Il sistema quindi applica un algritm di matching che prduce un valre di crrelazine fra i due testi. Basandsi esclusivamente su crrelazini fra entità, e nn su c-ccrrenze di termini è pssibile ttenere valri alti di crrelazine anche per testi simili che nn cntengn parle in cmune, valri bassi per testi che trattan di argmenti differenti ma hann parle in cmune. 4.3 Attività Index (preprcessing dataset di wikipedia) Aggiunt vettre pesi IDF e lista stpwrd per gni lingua gestita (supprt per Similarity) Classificatre Definit frmat jsn per il mdell di classificazine Lettura, verifica e cache dei mdelli Implementat algritm di classificazine sulla base della relatdness dei tpic di un test rispett ai tpic di gni categria del mdell Implementat servizi di classificazine ed espst cme API REST (endpint: classify) implementat servizi REST per la gestine dei mdelli del classificatre: POST - valida e persiste un mdell utente PUT - mdifica di un mdell (sl per l'wner) GET - elenca i mdelli di un utente ritrna il dettagli di un mdell DELETE - rimuve un mdell (sl per l'wner) Aggiunt parametr include=scre_details: ritrna nell'utput il dettagli degli scre per ciascuna categria ed element della categria (sl per l'wner, supprt al tuning del mdell) Aggiunt un filtr per l'utput delle categrie: se < min_scre nn viene mstrata Aggiunta cnfigurazine per parallelizzare il classificatre Testing del classificatre su dataset di news (http://acube.di.unipi.it/tmn-dataset/) Similarity Implementat servizi similarity tra due testi (calclat sulla base delle relatdness dei tpics) Estes il servizi di similarity per usare BOW. Aggiunt il parametr sperimentale bw: always - usa tf-idf sempre ne_empty - usa tf-idf sl se una delle due frasi nn ha avut alcuna anntazine bth_empty - usa tf-idf sl se entrambe le frasi nn hann avut alcuna anntazine never - nn usa mai tf-idf (default) SenTaClAus- D3.3.2: Rapprt sulle verticalizzazini/estensini realizzate v. 1.0 pag. 5 di 5