SenTaClAus - Sentiment Tagging & Clustering Analysis on web & social contents

Transcript

1 Via Marche Pisa Phone Fax P.IVA REGIONE TOSCANA POR CReO FESR LINEA D INTERVENTO 1.5.a BANDO UNICO R&S ANNO 2012 SenTaClAus - Sentiment Tagging & Clustering Analysis on web & social contents D4.1.2: Rapporto sulla strategia di implementazione della Trend Analysis 1.0

2 1. ABSTRACT RIFERIMENTI DOCUMENTI DI RIFERIMENTO DEFINIZIONI E ACRONIMI EVOLUZIONI INTEGRAZIONE DELLA TEXT ANALYSIS PRESENTATION FRONTEND TREND ANALYSIS LINK ANALYSIS INFLUENCERS INDIVIDUAZIONE AREE GEOGRAFICHE DEI POST ATTIVITÀ... 5 SenTaClAus- D4.1.2: Rapporto sulla strategia di implementazione della Trend Analysis v. 1.0 pag. 2 di 5

3 1. Abstract Scopo del presente documento è quello di presentare le evoluzioni realizzate per il software di analisi dei trend Trend Analysis 2. Riferimenti 2.1 Documenti di Riferimento Documenti dell'allegato 2 della domanda di progetto SenTaClAus D Piano di Progetto e della Qualità D4.3.1-Documento di progettazione delle Infografiche. 2.2 Definizioni e acronimi TA: Trend Analysis, ovvero l analisi orientata alla ricerca dei trending topic nei social network 3. Evoluzioni Partendo dal Social Proxy, software ideato per recuperare flussi dai vari social network, sono state sviluppate le seguenti evoluzioni Analisi dei post recuperati tramite il motore di Text Analysis per individuare i trending topic Analisi dei post recuperati per il riconoscimento dei links utilizzati negli stessi Analisi degli utenti più attivi nelle conversazioni analizzati per individuare gli influencer e definizione di metriche di analisi social network specific Analisi delle aree geografiche dei post recuperati. 3.1 Integrazione della Text Analysis Il Social Proxy permette già di recuperare post dai vari social network (Facebook e twitter in primis), quindi si è deciso di integrare il motore di text analysis per cercare di individuare i trending topic dei post analizzati. Per fare ciò abbiamo sfruttato la modularità dell ESB, e grazie al suo sistema a code abbiamo posto uno splitter del messaggio sul bus, lasciando che da una parte quest ultimo proceda col normale flusso di persistenza delle informazioni nel db, e dall altro le informazioni vengono passate a una coda dove vengono effettuate le seguenti operazioni: - rimozione di url e elementi HTML che potrebbero causare problemi al riconoscimento entità - riconoscimento della lingua da mandare come parametro alla text analysis - chiamata al motore di Text Analysis tramite la sua API REST - parsing della risposta e creazione di un messaggio con le entità riconosciute da passare al persister SenTaClAus- D4.1.2: Rapporto sulla strategia di implementazione della Trend Analysis v. 1.0 pag. 3 di 5

4 3.2 Presentation frontend Trend Analysis Lato frontend sono state create delle interfacce che permettono di: - definire una nuova trend analysis a partire da contenuti d interesse, specificando la lingua dei post da analizzare (i post che non sono scritti nella lingua scelta vengono scartati dall analisi) - eventuali parole o concetti da escludere dall analisi - parametro per fare tuning dell analisi (più parole con meno precisione, meno parole con più precisione) - Presentazione dei dati persistiti nel database dal motore java della trend analysis, con grafico col numero dei post analizzati e frequenza dei termini più ricorrenti. 3.3 Link analysis Molto spesso la pubblicazione di un post su i canali social è accompagnata da un link a elementi esterni al social network stesso (articoli di giornale, blog di settore, ) Nell analisi standard sui social network queste informazioni non vengono catturate e pertanto il rischio è di rimanere con una visione ristretta rispetto ai contenuti che stiamo analizzando. Tramite la link analysis è possibile raggruppare i link più ricorrenti nel flusso analizzato, per cercare di espandere l area di osservazione al di fuori dei social network 3.4 Influencers Un bisogno ricorrente nell analisi dei flussi sociali, è quello di capire chi sono i top player nei flussi analizzati. Per questo abbiamo implementato un meccanismo che a partire da informazioni base (numero di post/commenti/share/like/retweets) cerca di individuarli. Una volta fatto ciò, per questi influencer parte un analisi specifica che pesca da twitter e facebook informazioni relative a: - Twitter+Facebook: ultimi post anche slegati dal flusso - Tramite la TextAnalysis individua di questi post i concetti più ricorrenti per capire i principali interessi dell utente social - Twitter: numero di followers, friends e post effettuati ogni giorno. Oltre a ciò prende anche il numero di retweets e favourites che riceve sui post fatti (maggiori sono questi numeri, più alto è il suo grado di viralità) - Facebook: sesso e età, quando possibile Individuazione aree geografiche dei post Su Twitter/Facebook è possibile geotaggare un post e le API restituiscono questa informazione. Nella trend analysis abbiamo raccolto questi dati per visualizzare una mappa dei post, per capire quali aree geografiche hanno una maggiore attività rispetto alle ricerche impostate. Purtroppo Twitter non ci da solo i post georeferenziati, ma anche i post di profili utenti con luogo impostato nel profilo. Così ad esempio a Milano non ci saranno solo i post di persone che hanno pubblicato direttamente da lì, ma anche di profili di utenti che hanno impostato come città di residenza Milano. SenTaClAus- D4.1.2: Rapporto sulla strategia di implementazione della Trend Analysis v. 1.0 pag. 4 di 5

5 Per questo abbiamo anche implementato un tipo di analisi geografica strict che toglie dai risultati ottenuti via API quelli dei profili delle persone di Milano. 3.6 Attività Sistemata interfaccia grafica backend text analysis, introdotta possibilità di associare anche relevant content all'analysis rule Create code e servizi lato ESB per salvataggio informazioni trend analysis. In particolare creato splitter prima del persister e messaggio specifico con le informazioni della trend analysis da passare al proprio persister Creata interfaccia frontend text analysis, con riepilogo dati raccolti per i termini e per i link analizzati Aggancio ad API google maps per visualizzazione dei post su mappa e di markerclusterer per clusterizzare i punti tra loro. SenTaClAus- D4.1.2: Rapporto sulla strategia di implementazione della Trend Analysis v. 1.0 pag. 5 di 5