Voices from the Blogs

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "Voices from the Blogs"

Rachele Carnevale
8 anni fa
Visualizzazioni

1 Voices from the Blogs Stefano M. Iacus (R Core Team & University of Milan) joint work with Luigi Curini (University of Milan) Giuseppe Porro (University of Insubria) (& Spoletta)

2 What is VfB? VfB is a statistical engine for automatic and supervised sentiment analysis of the social media does not make use of ontological dictionaries statistical approach rather than plain computer science all R based crawler and analysis and automatic reporting VfB is a research project

3 History of VfB VfB started its public activity through its own blog on late October 2011 more than one year of work to setup and test the engine initially funded by CCIAA (Camera di Commercio Milano) to date VfB has analyzed about 1 Million of posts and its blogs has reached more than 20,000 visits

initially funded by CCIAA (Camera di Commercio Milano) to date VfB has

4 VfB workflow Crawler Human pre-analysis (what these post talk about?) Coding stage Stemming Analysis & Report

5 Social media analysis advantages Real time analysis (and repeated-continous time analysis) Retrospective analyses (get the opinion when it was actually expressed, instead of asking what was your opinion 1 month ago? ) geo-tagging (Twitter only) no questionnaire: people talk, just listen to what they have to say collect the opinion of the whole population of posts, not just a sample

6 Social Media Analysis limits (or benefits?) Only (?) people expressing their opinion on the social media, no representative of the (Italian) population. But is this a limit? What if you want to sell a mobile phone? Are you sure that this isn t your target? You cannot ask questions! You have to listen at what they really say.

(Italian) population. But is this a limit?

7 Why human and not ontological dictionaries? What a nice rip-off ( che bella fregatura ) 50% positive & 50% negative = misclassification 100% negative = no misclassification

8 The ReadMe approach (c) 2010 G.King & D.Hopkins, Harvard University each individual post in the training set is classified by human coders posts in the test set (unread posts) are not classified individually the final distribution of the whole set is estimated directly rather than individual classification & aggregation result: classification error at most 2-3%

human coders posts in the test set (unread posts) are not classified individually the

9 Human coding Automatic Stemming train set test set train set train set train set test set Post post#1 post#2 post#3 post#4 post#5... post#1000 Cat nuclear fear radiation pollution waste economic like NA dislike dislike like NA

.. post#1000 Cat nuclear fear radiation pollution waste economic like 1 0 0 0 0

10 Post Cat nuclear fear radiation pollution waste economic post#1 like Di = like Si = (1,0,0,0,0,1) Goal: estimation of the distribution of the Di s % % % like like but fear dislike dislike but economic 10%

estimation of the distribution of the Di s 0.4 40% 0.

11 The usual approach the goal train & test train+test P(D) = P(D S) * P(S) (matrix notation) P(S): is the distribution of the stems in the whole set (train + test). Accurate estimation. P(D): to be estimated P(D S): estimated from the train set only & used to predict the category for the posts in the test set (with misclassification) a large and representative test set has to be used to estimate P(D S)

P(D): to be estimated P(D S): estimated from the train set only & used to predict the category for

12 The ReadMe magics (c) 2010 G.King & D.Hopkins, Harvard University train+test train the goal P(S) = P(S D) * P(D) (matrix notation) P(S): is the distribution of the stems in the whole set (train + test). Accurate estimation. P(D): the goal P(S D): estimated from the train set only Assumption: P(S D) in the sample is the same as P(S D) in the whole population of posts, i.e. bloggers use the same language

the distribution of the stems in the whole set (train + test). Accurate estimation.

14 The blog Testing Production

15 .. We capture the sentiment of Lun the 09/04/2012 net ilfattoquotidiano.it Popularity of VfB Lun 09/04/2012 Ricerca dell'università di Milano su 33 mila «tweet» libero.it In Rete crescono gli ostili. Ma anche i «fen» Lo scandalo della Lega polarizza le opinioni su questo partito. Negli ultimi giorni, infatti, è calato il numero di chi si definisce neutrale nei suoi confronti, mentre è cresciuto il numero degli ostili (dal 61,3% al 63,1%). Ma ancor di più sono aumentati i simpatizzanti, passati dal 21% al 25,4%. È quanto emerge dalla ricerca Vokesjrom the Blogs, realizzata dall'università degli Studi di Milano analizzando oltre 33 mila messaggi apparsi nei giorni scorsi su Twitter. Dopo le dimissioni di Bossi, secondo i ricercatori, «in pochissime ore il web è stato inondato da una tempesta di tweet che commentavano la situazione in casa Lega». Per fare un po' di chiarezza sulle opinioni della rete, VfB ha analizzato i messaggi, «la metà dei quali (16 mila) riflette l'opinione dei cittadini lombardi». Nel futuro della Lega, Maroni appare in pole position, insieme a Tosi, ma Bossi non è fuori dai giochi, almeno per un terzo delle persone che hanno espresso la loro opinione. Quanto ai «colpevoli» della situazione, il 35,7% addita «tutti i dirigenti leghisti», il 17,4% il Senatur, ma oltre il 21% accusa la sua famiglia e il cosiddetto cerchio magico. ' P1Pf;."iC:.»!r.'Kr RISERVATA Preferenze. Sui blog l'ex ministro è in testa con il 6 4 % Twitter, Maroni leader ma Bossi resta in gioco ROMA Nel futuro della Lega, Roberto Maroni appare in pole position, almeno nelle opinioni di coloro che scrivono tweet, ma Bossi non è assolutamente fuori dai giochi, almeno per un terzo delle opinioni: è quanto emerge da una ricerca intitolata Voices Front the Blogs (Vfb), realizzata dall'università degli studi di Milano negli ultimi giorni Dopo le dimissioni di Bossi, secondo i ricercatori, «in pochissime ore il web è stato letteralmente inondato da una tempesta di tweet che commentavano la situazione in casa Lega. Per fare un po' di chiarezza sulle opinioni della rete, VfB ha analizzato tempestivamente oltre 33 mila tweet pubblicati tra cittadini lombardi». «La maggioranza relativa addita tutti i dirigenti leghisti come colpevoli dello scandalo sui rimborsi elettorali (35,7%). Ma se c'è da trovare un colpevole, ben prima del tesoriere Belsito (5,7%) o financo dello stesso Bossi (174%), il dito degli italiani punta con decisione contro la famiglia del Senatur e il cosiddetto cerchio magico (21,5%)». Dato che «tra i soli lombardi sale al 254%». La bufera di questi giorni ha d'altra parte intaccato la figura dell'ex segretario: «Ben il 31,2% lo vede oramai parte a tutti gli effetti della "casta"». Quanto al futuro della Lega, Maroni «appare in pole-position per il 64,6% delle opinioni espresse. Il dato però scende al 46,6% nella sola Lombardia, mentre cresce l'apprezzamento per Flavio Tosi». Per un terzo delle persone che ha espresso opinioni, invece, il 29% di italiani e 36% di lombardi sarebbe un errore considerare Bossi «fuori dai giochi». Infine «i sentimenti sulla Lega si polarizzano rispetto a gennaio: diminuiscono i neutrali, crescono gli ostili (dal 61,3% al voices Documento ad uso esclusivo del destinatario, non riproducibile 63,1%), ma ancora di più i simpatizzanti: dal 21% al 254%». UN1VERSITÀ DI MILANO il 5 e l'8 aprile, la metà dei quali (16 mila) riflette l'opinione dei Dalla ricerca dell'ateneo risulta anche un crescente apprezzamento perii sindaco di Verona Flavio Tosi Intanto non sono bastate le dimissioni di Renzo Bossi da consigliere regionale lombardo per placare la rabbia del web sullo scandalo che ha coinvolto la Lega. E tantomeno per fermare le battute sul rampollo del fondato Carroccio, che d seguono

Negli ultimi giorni, infatti, è calato il numero di chi si definisce neutrale nei suoi confronti, mentre è cresciuto il numero degli ostili (dal 61,3% al 63,1%).

16 What s next? We are collecting millions of Twitter posts since the beginning of 2012 with the aim of constructing an index of Twitter-happyness ihappy = # Happy tweets # Happy and Sad tweets % The index is calculated daily at province level and aggregated in different ways

17 What you ll see is all R based daily scripts run on server only 5 packages: twitter, ReadMe, XML, RMySQL, ggplot2... and lots of my R code :-)

18 daily stats by province

19 regional maps

20 nonlinear time series estimation

21 median ranking: last 7 days

22 App ios only (yet, if you know Android developers, to )

23 For more informations, analysis and white papers of the project Voices from the Blogs, visit Thanks!

Documenti analoghi

U Corso di italiano, Lezione Quindici

1 U Corso di italiano, Lezione Quindici U Buongiorno, anche in questa lezione iniziamo con qualche dialogo formale M Good morning, in this lesson as well, let s start with some formal dialogues U Buongiorno,