Sentiment analysis e il WEB 2.0

Transcript

1 Sentiment analysis e il WEB 2.0 Giambattista Amati Fondazione Ugo Bordoni

2 Information Mining FUB Ricercatori FUB Gianni Amati, PhD Andrea Bernardini Claudio Carpineto (resp.) Raffaele Nicolussi Gianni Romano Studenti di PhD FUB Giuseppe Amodeo Carla Michini Tesisti Alessandro Marco Boutari Giorgio Desideri Fabrizio Ferrante Vincenzo Nicoletti Raffaella Toscano Collaborazioni Terrier Team (terrier.org) Università di Glasgow Università di Lugano Yahoo!Research Barcellona Poznan University of Technology Matrixware Vienna Collaboratori Marco Bianchi, PhD (CNIPA) Valerio Capozio (studente PhD, Università di Roma, Tor Vergata) Carlo Gaibisso (IASI CNR) Prof. Giorgio Gambosi (Università di Roma, Tor Vergata) 2

3 BlogoSphere & Web 2.0: Da consumatori a produttori di contenuti - Siti più visitati al mondo (Ultimi dati Alexa) Ricerca di informazioni/ricerca personalizzata/chatrooms/mail Google - (1, +1) (luglio 2008), Yahoo! - (3, -2), Live (5, -1) Reti Sociali Facebook (Tasso di crescita maggiore in Cile e Italia) - (2, +6), LinkedIn - (29, ), MySpace - (17, -11) Blogs/MicroBlogs Blogger / Blogspot - (924 ML, 26 ML italiane) - (7, +2) Twitter (1.9 ML di messaggi al giorno) - (12, ) Wordpress (277 ML, 15 ML italiane) - (18, ) Reti per la condivisione dei contenuti digitali Youtube - (4, -1 ), Flickr (32 ) Wikipedia - (6, +1 ) Annotazioni (Social Tagging): Del.icio.us - (344 )

4 Ricerca di Opinioni nei Blog Dal 2004 a giugno 2006 i blogs sono passati da 1 a 50 ML (100 ML, Nielsen Buzzmetric) Molto dinamici, scarsamente interconnessi Molto diffusi e facilmente tools Di vario genere accessibili Politica, diari, tecnologia, opinioni cultura, di mediante esperti, Soggettività Commenti, opinioni, experienze, suggerimenti,

5 Temi della BlogoSphere- Ultimi dati Technorati 5

6 WEB 2.0: Cosa pensa la rete di? Fruizione dell informazione situata nella Coda lunga dei dati, generati dagli utenti stessi o da comunità di interesse (open source and open data). Paradigma che incentiva la collaborazione, la condivisione e la diffusione delle opinioni tra gli utenti stessi. Non è una rivoluzione tecnologica ma culturale che sta cambiando le stesse modalità di fruizione dei contenuti digitali, e il paradigma di risoluzione dei problemi da parte degli utenti. Come risolvo il problema X e quale strumento o prodotto Y è il migliore per risolvere X? Ottenere stime attraverso l analisi di una grandissima quantità di dati disponibili in rete Analisi dei trend di gradimento su un qualsiasi argomento, prodotto, servizio. Cosa pensa la rete di.? 6

7 Tema di ricerca: : Opinion Finding Task Il focus è sulla natura soggettiva dei blogs Opinion Mining What do people think about X? X = persona, posto, organizzazione, prodotto, evento, tecnologia Recuperare i permalink che esprimano opinione su X Scoprire il sentire pubblico su un dato target un 7

8 Search X by sentiment Y. 8

9 Search by sentiment: Search + Data Mining Dati per l addestramento del classificatore sentimentale Blogs Blogs (permalinks) (permalinks) & Tweets Tweets recuperati recuperati Classificatore Permalinks Permalinks Con Con opinioni opinioni Permalinks Permalinks Senza Senza opinioni opinioni Motore di di Ricerca Blogs Blogs (permalinks) (permalinks) & Tweets Tweets La strategia con filtro di opinione non è ottimale (Amati et al. On performance of topical opinion retrieval, submitted) 9

10 Search by sentiment: Search & Data Mining Costruzione di un dizionario di sentiment analysis pesato (con modelli di Divergence From Randomness) Sottomesso come interrogazione al motore di ricerca Documenti Documenti = Blogs Blogs (permalinks) (permalinks) & Tweets Tweets Pesatura del del contentuto sentimentale dei dei documenti Pesatura del del contentuto semantico dei dei documenti Ranking Ranking dei dei Permalinks Permalinks Rilevanti Rilevanti con con opinioni opinioni Interrogazione Modelli di fusione sono più effettivi 10

11 Dizionario sentimentale a diversi livelli di granularità abide inaccurate abject inane wish absolute inappropriate wonder absurd incapable wonderful abusive incessant woo abyss inclin worri acclaim incoherent worse accuse incompetent worst activist incomprehensible worth actual inconvenient worthless admir incredible worthwhile admirable indefensible wound admire indicative wrath admit indifferent yeah indispensable yearn

12 Sviluppo iniziale di Terrier (TERabyte RetrIEveR-Motore di Ricerca Open Source) in collaborazione con l Università di Glasgow Modelli DFR di IR Nativi FUB: DIVERGENCE FROM RANDOMNESS Modelli Nativi FUB di Apprendimento Automatico del dizionario da esempi (Query Expansion, Expert Search, ecc. ) Dal 1999 risultati eccellenti alle conferenze TREC e CLEF applicati a tasks differenti Sono entrambi implementati in Terrier (modelli DFR e Query Expansion) 12

13 Partecipazione FUB-TV alla valutazione TREC 2007 di opinion mining Ranking dei Gruppi partecipanti per incremento di precisione MAP % Increase Opinion MAP

14 Group What worked: Top 6 Groups; Title-only (ranked by opinion-finding MAP increase) Best Baseline (MAP) Best Opinion Ranking (MAP) % Increase Roma (FUB-TV) % Univ. of Glasgow Indiana Univ. Univ. of Arkansas LR Dalian Univ. Univ. of Waterloo % % % % % 14

15 Applicazioni Componente di Opinion Mining all interno del progetto TV++ TV++ sulla convergenza tra Internet e TV (Dip.( Dip. per le Comunicazioni del Ministero per lo Sviluppo economico, ISCTI, Univ. La Sapienza) Analisi dei trend sull offerta televisiva Focused crawling dei blogs e Tweets con contenuto televisivo Costruzione di un dizionario sentimentale italiano (televisivo) Analisi dei dati online /offline 15

16 Grazie! 16