SenTaClAus Sentiment Tagging & Clustering Analysis on web & social contents

Transcript

1 Via Marche Pisa Phne Fax P.IVA REGIONE TOSCANA POR CReO FESR LINEA D INTERVENTO 1.5.a BANDO UNICO R&S ANNO 2012 SenTaClAus Sentiment Tagging & Clustering Analysis n web & scial cntents D2.4.1: Metriche per la misurazine dell'efficacia e delle perfrmance 1.0

2 1. ABSTRACT RIFERIMENTI DOCUMENTI DI RIFERIMENTO BIBLIOGRAFIA METRICHE PER LA VALUTAZIONE DELLE PERFORMANCE METRICHE PER LA VALUTAZIONE DELL EFFICACIA... 4 SenTaClAus- D2.4.1: Metriche per la misurazine dell'efficacia e delle perfrmance v. 1.0 pag. 2 di 5

3 1. Abstract Scp del presente dcument è quell di presentare le metriche utilizzate per la valutazine dell efficacia e dell efficienza dei cmpnenti del prgett SenTaClAus. 2. Riferimenti 2.1 Dcumenti di Riferiment Dcumenti dell'allegat 2 della dmanda di prgett SenTaClAus D Pian di Prgett e della Qualità 2.2 Bibligrafia [1]. Marc Crnlti, Pal Ferragina, Massimilian Ciaramita, A Framewrk fr Benchmarking Entity- Anntatin Systems, Prceedings f the Internatinal Wrld Wide Web Cnference (WWW) (Practice & Experience Track), ACM (2013). 3. Metriche per la valutazine delle perfrmance Per quant riguarda le perfrmance dei vari cmpnenti, si prvvederà a valutare ed analizzare il temp di esecuzine stt diversi scenari perativi. Dal mment che tutti i sistemi previsti all intern del prgett dvrann essere frniti cme servizi web accessibili in mdalità client-server, il temp di esecuzine verrà calclat cme il temp che intercrre tra l esecuzine della richiesta e la ricezine della rispsta dal server, calclat lat client. Per minimizzare il rumre (dal punt di vista del calcl dei tempi di esecuzine), le cmpnenti client di test per l analisi delle perfrmance dvrann essere eseguite su una macchina diversa da quella su cui è in esecuzine la parte server. Ovviamente tale macchina dvrà essere cmpletamente scarica da altri task. Inltre, al fine di minimizzare l impatt della latenza di rete, le due macchine dvrann essere psizine all intern della stessa LAN. Si tratta di un scenari ideale, ma che cmunque permette di ttenere delle stime realistiche, rendend la valutazine delle perfrmance agnstica rispett ai ritardi di rete che pssn incrrere in un scenari reale dve diversi client pss essere psizinati su macchine diverse che pssn quindi avere latenze mlt differenti fra lr. La valutazine delle perfrmance dvrà pi essere effettuata tenend in cnsiderazine due dimensini: Dimensine dell input utente Mlti servizi cme quelli della text-analysis, previsti all intern del prgett, avrann tempi di esecuzine dipendenti dalla dimensine del test passat dal client nella request. Dal mment che il prgett si fcalizza su web e cntenuti prvenienti dai scial netwrk, una dimensine che può essere presa cme riferiment è quella dei 140 caratteri, limite massim dei messaggi scambiati sulla piattafrma di micr-blgging di Twitter. In gni cas, il sistema andrà anche valutat su testi più lunghi per cntrllarne la scalabilità in scenari diversi. Un scenari tipic è l anntazine e l analisi di articli di girnale prvenienti da web. In quest cas si può assumere che un test lung almen 1000 caratteri (circa 2Kb) sia rappresentativ di tale scenari. SenTaClAus- D2.4.1: Metriche per la misurazine dell'efficacia e delle perfrmance v. 1.0 pag. 3 di 5

4 Livell di cncrrenza Cme anticipat, i prttipi sviluppati all intern del prgett SenTaClAus dvrann frnire servizi in un scenari client-server. Pertant è necessari cntrllare la scalabilità del sistema sulla dimensine del numer di utenti che accedn al servizi. Si valuterann tre scenari Caric base, dve un singl utente accede al servizi Caric medi, dve il numer degli utenti che accede in cncrrenza è pari al numer di cre della macchine su cui è in esecuzine il server. In tal md è pssibile valutare la parallelizzazine del sistema, effettuand un cnfrnt cn il cas base di cui spra Caric pesante, dve il numer degli utenti è di almen un rdine di grandezza superire al numer di cre della macchina su cui è in esecuzine il server, per valutare il thrugh-put del sistema stt stress. Ciò dett, si dvrann prdurre dei test-bed di testi di due tiplgie (crti, circa 140 caratteri, e lunghi, circa 1000 caratteri) e questi dvrann essere valutati in tre scenari di cncrrenza ( La simulazine dvrà durare almen una decina di minuti per permettere di cllezinare statistiche significative (media per singla richiesta, numer di richieste servite al minut, ecc ) 4. Metriche per la valutazine dell efficacia Per la valutazine dell efficacia della text-analysis, si fa riferiment all articl scientific [1] recentemente appars alla cnferenza rganizzata dal W3C, tra i cui autri sn presenti membri del Labratri A3 del Dipartiment di Infrmatica dell Università di Pisa, partner accademic del prgett SenTaClAus. In particlare, verrà valutata l anntazine delle entità estratte da test nn strutturat. L perazine di anntazine infatti, è alla base di gni perazine della text-analysis previst dal prgett ed è quindi fndamentale valutare la sua efficacia. L efficacia degli altri task cme classificatin e clustering e le verticalizzazini del sistema, dipendn strettamente dall efficacia dell anntazine. Il task di anntazine è per sua natura mlt cmpless anche la definizine di una misura di valutazine può essere una perazine mlt cmplicata data il grande numer di variabili in gic. Inltre, è un task per il quale reperire test-bed efficaci e di dimensini significativi ai fini statistici è mlt difficile, perché richiedn un sfrz manuale nn indifferente. Per quest mtiv si è decis che la metrica da adttare durante la valutazine del prgett sia quella nella sua frma più semplice, cme definita nell articl [1]. In particlare, dat un dcument anntat manualmente, si estrarrann da quel dcument tutte i link a pagine di Wikipedia/DBpedia 1 e queste frmerann il grund-truth rispett al quale il sistema si dvrà cnfrntare. I link verrann cnsiderati al nett della lr psizine e della lr frequenza, generand quindi un insieme di entità. Dat un dcument d definiam cme GT(d) tale insieme. Passand l stess dcument al sistema di anntazine, si estraggn i link a Wikipedia e si cstruisce un insieme dell stess tip. Definiam A(d) tale insieme. È pssibile quindi calclare la precisin del sistema cme 1 Wikipedia DBpedia in quest cntest è indifferente dal mment che è pssibile stabilire in maniera univca un cllegament fra le due srgenti. Pertant, all intern del dcument le due srgenti dati sn da cnsiderarsi interscambiabili. SenTaClAus- D2.4.1: Metriche per la misurazine dell'efficacia e delle perfrmance v. 1.0 pag. 4 di 5

5 che rappresenta il numer di anntazini crrette rispett al numer ttale di anntazini restituite dal sistema in esame. Similmente la recall è definita cme che rappresenta il numer di anntazini crrette rispett al ttale delle anntazini previste nel grundtruth. Le due misure precisin e recall vengn cmbinate pi nella csidetta F-Measure, che rappresenta il valre sintentic dell efficacia del sistema. Tale misura è definita cme la media armnica tra precisin e recall, favrend quindi i sistemi che ffrn valri bilanciati in entrambi i termini SenTaClAus- D2.4.1: Metriche per la misurazine dell'efficacia e delle perfrmance v. 1.0 pag. 5 di 5