Web 2.0 e Sentiment Analysis: introduzione Prof. Flavio Bonfatti Dipartimento di Ingegneria dell Informazione Università di Modena e Reggio Emilia flavio.bonfatti@unimore.it
Web 2.0 > Definizioni Prima apparizione ufficiale Nel titolo di una conferenza del 2004 organizzata da O Reilly Media Riassumeva e denominava un fenomeno in atto già da qualche anno Da Tim O Reilly e John Battelle The Web is no longer a collection of static pages that describe something in the world. Increasingly, the Web is the world everything and everyone in the world casts an information shadow, an aura of data which, when captured and processed intelligently, offers extraordinary opportunity and mind bending implications. Da Wikipedia The term Web 2.0 is commonly associated with Web applications that facilitate interaction, information sharing, interoperability and collaboration on the Web. Examples include web-based communities, hosted services, Web applications, social networking sites, video-sharing sites, wikis, blogs, mashups and folksonomies. 2
Web 2.0 > Caratteristiche Dal Web 1.x al Web 2.0 Mp3.com Napster Album foto Flickr Pubblicazione Partecipazione Britannica online Wikipedia Web site personale Blogging Content management Wiki Directory (tassonomia) Tagging (folksonomy) Siti appiccicosi (stickiness) Condivisione di contenuti (syndication) 3
Web 2.0 > Applicazioni In continua crescita Al momento sono 3190, di cui 76 molto popolari Fra queste: Skype, ebay, Amazon, YouTube, Flickr, FaceBook, Twitter, LinkedIn Fonte: http://www.go2web20.net Principali tematiche Musica, foto, video Blog, chat, forum Comunità, reti sociali Giochi, viaggi Ma anche Business Knowledge Collaboration Messaging Finance 4
Esempio: Catalogo universale /1 Classificazioni standard NAICS (Nord America) >> attività produttive NAPCS (Nord America) >> prodotti e servizi (da completare) NACE (Europa) >> attività produttive (da cui ATECO in Italia) UNSPSC (Nazioni Unite) >> prodotti classificati per ecommerce ecl@ss (Europa) >> prodotti classificati per ecommerce EDI in vari settori importanti (farma, auto, aereo, elettronico, etc.) Limiti fondamentali Questi standard presentano tipicamente una struttura ad albero Se scelgo uno degli standard devo adeguarmi completamente Anche se spesso non riesco a rappresentare esattamente i miei prodotti Inoltre devo scartare gli altri standard (mi chiudo in quel mondo) Sperando che i miei clienti abbiano fatto la stessa scelta Oppure mi devo adattare a usare più standard in funzione dei clienti 5
Esempio: Catalogo universale /2 Approccio Web 2.0 Codifico ogni mio prodotto per famiglie parametri opzioni Esempio: famiglia > cilindro tipo > [idraulico, pneumatico] struttura > [fissa, mobile, telescopica] braccio > [da 0,40 a 3,00 metri] attacco > [sferico, a perno, a gancio, a dado, custom] Così genero un certo numero di termini, relazioni e definizioni E li metto (liberamente) a disposizione della comunità Nasce una folksonomy Nasce un vocabolario a crescita spontanea con il contributo di tutti Ognuno può utilizzare termini e definizioni dati da altri Oppure introdurne di nuovo per esprimere concetti carenti Una buona scelta di termini facilita la possibilità di essere trovato Una cattiva scelta di termini può sempre essere migliorata Il contenuto del vocabolario può essere mappato su qualunque standard 6
Esempio: Integrazione funzionale /1 Bisogno di integrare funzioni e dati Dispongo di un software per schedulare le mie risorse Dispongo di un altro software per la contabilità Un mio fornitore ha un software per pianificare gli ordini Un altro fornitore ha un software per gestire le chiamate Voglio un servizio che attinga a queste diverse fonti per presentare a ogni cliente il quadro delle attività richieste E che usi anche funzioni grafiche di Google Maps Limiti fondamentali I pacchetti che ho in azienda non comunicano fra di loro Anche i loro dati differiscono per formato e per significato Ciò vale a maggior ragione per quelli dei partner Lo sviluppo delle necessarie funzioni di integrazione è fuori discussione Chiedono tempo, costano troppo e vanno riviste a ogni cambiamento 7
Esempio: Integrazione funzionale /2 Approccio Web 2.0 Ogni software espone funzioni e dati tramite API (es. Web service) Ogni struttura dati estratta è annotata rispetto a un ontologia > Web 3.0? Buzzword! L annotazione riguarda sia il formato sia il significato dei dati La nuova applicazione deve solamente accedere e intergare La omogeneizzazione dei dati può avvenire nel server o anche nel client Nasce un mash-up Si chiama così un applicazione Web 2.0 che combina dati e funzioni Accedendo a sorgenti esterne ed eterogenee (normalmente) Per sviluppare velocemente nuovi servizi autonomi Spesso erogabili in modalità SaaS Myself Supp1 Mash-up Supp2 GUI 8
Sentiment analysis > Cos è Uno strumento antico Indagine di mercato: per capire i bisogni o le aspettative dei potenziali clienti Sondaggio di opinione: per interpretare gli umori politici dei cittadini Condotti con strumenti statistici (campioni) da organizzazioni specializzate Una nuova opportunità Generata dalla diffusione degli strumenti Web 2.0: blog, forum, reti sociali Capaci di raccogliere grandi quantità di opinioni e valutazioni spontanee Su cui innestare tecniche di indagine (opinion mining) semi-automatiche Intese a distillare giudizi, atteggiamenti emotivi, critiche, eccetera Due grandi obiettivi Polarità del giudizio: positivo, neutrale, negativo > aspetto principale Oggettività del giudizio: soggettivo, oggettivo > molto più complicato 9
Sentiment analysis > Dettaglio Da un ipotetico blog l altro ieri ho comprato un iphone, molto carino il touch screen è veramente fico, si comanda con un dito anche la chiarezza della voce è notevole, meglio del mio Nokia mia madre è andata giù di testa perché non l avevo avvertita dice anche che ho speso troppo e che devo riportarlo al negozio Oggetto dell indagine Definire l oggetto (iphone) e le sue caratteristiche (screen, voce) da valutare Definire termini e sinonimi per l oggetto e le sue caratteristiche Fonte dell opinione L opinione può essere espressa direttamente (lo scrittore nel blog) Oppure riportata indirettamente (la madre) Orientamento espresso Tramite conteggio di concetti buoni (carino, fico) e cattivi (speso troppo) Tramite una accurata analisi del testo e delle relazioni fra termini 10
Sentiment analysis > Fasi Un approccio interattivo & iterativo Ogni indagine richiede la messa a punto da parte dell esperto E la ripetizione delle operazioni di estrazione in diverse condizioni Cinque fasi principali Modella l oggetto e il suo vocabolario Isola e pulisci le frasi presenti nel blog Misura l attinenza di ciascuna frase Estrai e codifica gli orientamenti Produci il report del risultato 11
Sentiment analysis > Strumenti Numerosi progetti open-source Ad esempio LingPipe, OpenAmplify, Opine, eccetera Molte demo ma anche progetti iniziati e poi abbandonati Siamo nella fase in cui gruppi di ricercatori offrono le loro idee (in effetti la Sentiment Analysis è iniziata con il Web 2.0) Progetto open-source GATE General Architecture for Text Engineering Il progetto open-source di riferimento, Università di Sheffield Strumenti per l elaborazione del linguaggio naturale, in Java Prodotti commerciali Esistono diverse offerte, specie da società esperte in software statistico (esempio, SAS Text Miner, SPSS Text Analysis for Survey, STATISTICA Text Miner) Due grandi campi applicativi Business > CRM 2.0 Pubblica Amministrazione > molto da fare 12
Conclusioni Forte impatto del Web 2.0 Un termine che riassume (a posteriori) l idea partecipata di Web Con potenzialità ancora molto da esplorare, specie business e PA Basate su sviluppi poderosi nei settori della linguistica e della semantica Forte spinta alla collaborazione senza restrizioni tecnologiche e culturali Sentiment Analysis Basata sui grandi volumi di idee espresse spontaneamente nel Web 2.0 Formidabile strumento per la comprensione delle opinioni altrui Problemi aperti Tecniche di analisi dei testi ancora bisognose di sviluppi e miglioramenti Difficoltà a separare le opinioni soggettive da quelle oggettive Casualità del campione di opinionisti (quelli più giovani? più arrabbiati?) Capacità di utilizzare propriamente i risultati (ambigui) della opinion mining 13