Advanced Web Intelligence

Transcript

1 Advanced Web Intelligence 21 Ottobre 2010 Prof. Carlo Tasso Dott. Paolo Omero

2 Part 1 prof. Carlo Tasso WEB 2.0, ARTIFICIAL INTELLIGENCE, AND SEMANTIC WEB

3

4

5 C.Tasso

6 WHAT IS WEB 2.0? The term Web 2.0 refers to a state of evolution of the Web, which is characterized by new ingredients, new approaches, new balances, 6

7 CHARACTERISTICS OF WEB 2.0 SITES AND PORTALS UGC, easy publication and sharing of user generated contents (Pro)active participation Openess and easy access Social networks, communities, c. of practice Folksonimies and social tagging Mass collaboration, wisdom of crowd Content remixing, syndication, mashup, aggregator Web as a platform, service oreinted architecture BLOG, WIKI, feed RSS, TAG, AJAX, Web Service, XML, Creative Commons, new Business Models

8 TIME, 13 DIC THE PERSON OF THE YEAR

9

10 P.1 INFORMATION OVERLOAD UGC: A huge amount of new information available online ( new blogs everyday [Technorati, 2008]) Accessing online information becomes harder, searching is even less effective key-word based & one-size fits all search engines are not accurate 10

11 FROM INFORMATION PRODUCERS TO INFORMATION CONSUMERS (WEB 1.0) Ideas, concepts, events, authors, Information Producers documents/multimedia docs./ /audio-video/ WEB Sites & Portals search internediary delivery Information Consumers 21/10/

12 Ideas, concepts, events, authors, Information Producers IN WEB 2.0 documents/multimedia docs./ /audio-video/ WEB Sites & Portals blogs,, social networks, search internediary delivery UCG - User Generated Content Information Active user Consumers Active user Active user Prosumer Active user Active user Active useractive user Active user 12

13 P.1 INFORMATION OVERLOAD again In order to overcome the problem WE NEED: ANALYSING THE CONTENT OF A DOCUMENT and UNDERSTANDING its TEXT PERSONALIZING THE INTERACTION New Web 2.0-specific innovative automatic tools are required for accessing, filtering, monitoring the Web in a personalized (user-oriented) way 13

14 P.2 NEW KNOWLEDGE IS AVAILABLE ONLINE Social networks, blogs, forum contain precious knowledge which is strategic for many business processes (knowledge management, marketing & marketing intelligence, reputation management, open innovation, cooperative knowledge construction, decision making, etc.) Often knowledge is impicit: in the UGC, in the relationships among the users, in the opinions, in their tags, 14

15 P.2 NEW KNOWLEDGE IS AVAILABLE ONLINE again Current state-of-the-art requires new Web 2.0- specific innovative automatic tools capable of capturing this knowledge and deliver it to the specific individual user interested in it. 15

16 WHAT IS ARTIFICIAL INTELLIGENCE? An interdisciplinary science having the goal of designing and building systems which provide a performance similar to humans in cognitive activities typical of the human mind. Es. Understanding Natural Language Machine Learning Knowledge-based Systems Automatic Reasoning.. 16

17 AREAS OF ARTIFICIAL INTELLIGENCE RELEVANT FOR THE WEB Understanding Natural Language, Semantic Analysis and Text Mining Intelligent content-based filtering Information extraction, opinion analysis, sentiment analysis User Modeling & Personalization 17

18 AREAS OF ARTIFICIAL INTELLIGENCE RELEVANT FOR THE WEB Understanding Natural Language, Semantic Analysis and Text Mining Intelligent content-based filtering Information extraction, opinion analysis, sentiment analysis User Modeling & Personalization SEMANTIC WEB 18

19 WHAT INNOVATION DO WE NEED? Going beyond a Web 2.0 as a repository, and exploiting Web 2.0 as a knowledge base Understanding concepts, content-based filtering, knowledge editing, semantic tools Personalized interaction and personalized information extraction Automatic intelligent agents which continuosly garrison /monitor the Web on behalf of the specific individual user and proactively deliver relevant captured information/knowledge to him Content-based adaptation 19

20 RESEARCH AT THE AI LAB OF THE UNIVERSITY OF UDINE Cognitive Filtering: Adaptive personalization: Web Monitoring Information Extraction Sentiment analysis Keywords extraction Ontological reasoning 20

21 PERSONALIZED CONTENT-BASED FILTERING FOR WEB MONITORING Positive sample docs Negative sample doc Documents to be filtered (html, xml, pdf, postscript, doc, text, latex) User PROFILE Constructor Linguistic/Semantic Processor User Profile Conceptual content of the document Relevance feedback MATCHING Relevance Evaluation Measure (da C.Tasso, P.Omero, La Personalizzazione dei Contenuti WEB, F.Angeli, Milano, 2002.) 21 21/10/2010

22 INFORMATION EXTRACTION 22

23 IE FROM RESEARCH PAPERS Authors Title Abstract Citations Bibilography 23

24 NAMED ENTITY RECOGNATION WITH ANNIE 24

25 SOCIAL NETWORK ANALYSIS OF UGC Extracting/capturing knowledge from UCG Analysing social relationships in UGC: SNA (Social Network Analysis) vs. Content-Based Social Network Analysis (identifying similar contents, who is saying what to whom, ) Identifying influencers, apostles 25

26 26

27 27

28 28

29 AUTOMATIC TAGGING (A FORM OF CLASSIFICATION) 29

30 AUTOMATIC TAGGING OF WEB DOCUMENTS

31 AUTOMATIC TAGGING OF WEB DOCUMENTS

32 WARANGAL-ANCIENT ANCIENT CAPITAL OF THE KAKATIYA DYNASTY Text in the original document Warangal was the capital of a Hindu Shaivaite kingdom ruled by the Kakatiya dynasty from the 12th to the 14th centuries. The old name of this newly formed city is Orugallu. Oru means one and Kallu means stone. The entire city was carved in a single rock, hence the name Orukallu meaning 'one rock' (Ekasila nagaram in Sanskrit). The Kakatiyas left many monuments, including an impressive fortress, four massive stone gateways, the Swayambhu temple dedicated to Shiva, and the Ramappa temple situated near Ramappa Lake. The cultural and administrative distinction of the Kakatiyas was mentioned by the famous traveller Marco Polo. Famous or well-known rulers included Ganapathi Deva, Prathapa Rudra, and Rani (queen) Rudrama Devi. The Mughal emperor Aurangzeb conquered Golconda in 1687, and it remained part of the Mughal empire until the southern provinces of the empire split away to become the state of Hyderabad in 1724 which included the Telangana region and some parts of Maharashtra and Karnataka. The Orugallu Fort and Veyyi Stambhala Gudi (Thousand Pillar Temple) have history, architecture and sculpture and are probably among the best of Indian temples. Kakatiya dynasty, that ruled Andhra region from 750 AD 1325 AD for 575 years, still lives in the ruins of the fort and almost intact temple. You can get a first hand of the dynasty s taste for sculpture in Veyyi Stambhala Gudi or 1000 Pillar Temple. It has a catchy and apt name. Are there thousand pillars? Yes there are of many varieties and sizes; some of them are even part of others! The pillars that support the central Natya Mandapam (dance floor) are large and made of multiple blocks of stone. The temple is star shaped with three shrines devoted to Rudradeva (Shiva), Vishnu, and Surya (Sun). Interestingly, the third deity is not Brahma who is part of the Trinity of God [as in the Trinity (which consists of Brahma, Vishnu, and Shiva) in Suchindrum] because the Kakatiyas worshipped Lord Shiva and Lord Surya and not so much Brahma. On the fourth side is Shiva s vehicle, Nandi(Bull). Ramappa Temple, also known as the Ramalingeswara temple lies in a valley at Palampet village. An inscription in the temple dates it to the year 1213 and said to have been built by a General Recherla Rudra, during the period of the Kakatiya ruler Ganapati Deva. This medieval temple is a Shivalaya (where Shiva is worshipped) and named after the sculptor Ramappa, a Vishwakarma Brahmin Sthapathi of Karnataka State, who built it rather that after its presiding deity, Ramalingeswara, perhaps to accent Shiva's importance as the personal god of the avatar of Vishnu, Rama. The history says that it was taken 40 years to built this temple. This beautiful temple, an example of brilliant Kakatiya dynasty art, Planned and sculpted by Vishwakarma Brahmin Sthapathis was built on the classical pattern of being lifted above the world on a high star-shaped platform. Intricate carvings line the walls and cover the pillars and ceilings. Starting at its base to its wall panels, pillars and ceiling are sculpted figures drawn from Hindu mythology. The roof (garbhalayam) of the temple is built with bricks, which are so light that they are able to float on water. Source:

33 KEYPHRASES (TAGS) AUTOMATICALLY EXTRACTED hindu shaivaite kingdom architecture and sculpture traveller marco polo veyyi stambhala gudi thousand pillar temple Kakatiya dynasty Ramappa temple natya mandapam dance floor ekasila nagaram Prathapa Rudra Rudrama Devi telangana region Kakatiya dynasty Warangal hindu shiva ramappa sculpture nandi Keyphrases extracted from the original document

34 DERIVING ABSTRACT CONCEPTS FOR SUGGESTING TAGS BY MEANS OF ONTOLOGY MINING Keyphrases Alloy, Alloy Analyzer, UML OCL, OCL Invariants, Critical Systems, UML Class Diagram, Invarinats, Snapshots Software Engineering Ontology Class hierarchy For the given document, with the above all annotations, the new tag Software design is also suggested to the user. This particular tag is neither presented in the document nor in the earlier annotation lists.

35 SENTIMENT ANALYSIS 35

36 SENTIMENT ANALYSIS: OUR EXPERIMENTS AND EVALUATIONS 36

37 WHAT THE BENEFITS OF AI FOR THE WEB? More accurate and focused timely information Moving from information to knowledge Exploiting the knowledge of the (other) users (folksonomies, ) Automatic personalized (push) services, overcoming one size fits all Better user satisfaction Increased productivity, 37

38 Part 2 Dr. Paolo Omero

39 infofactory infofactory srl è il primo spin-off dell Università di Udine nel campo dell ICT. La società vede la partecipazione diretta dell Università di Udine nella compagine sociale e nasce dal Gruppo infofactory costituito nel 2000 dal prof. Carlo Tasso all'interno del Laboratorio di Intelligenza Artificiale, da lui fondato nel Nel corso degli anni il Gruppo ha svolto numerose attività, sviluppando alcune tecnologie proprietarie innovative che derivano dai progetti di ricerca svolti nel Laboratorio di Intelligenza Artificiale dalla sua fondazione. infofactory presenta un nuovo tipo di automazione focalizzato sulla personalizzazione adattativa dei processi di accesso ai contenuti digitali: ciò include strumenti e servizi per il reperimento intelligente delle informazioni, il filtraggio delle informazioni in base ai concetti in esse contenuti, la classificazione, la valutazione e l analisi semantica. Ogni servizio fornito da infofactory viene adattato alle specifiche esigenze di ciascun cliente. Università di Udine - Polo Scientifico infofactory Ottobre

40 Chi sono gli utenti online? Esempio: Facebook s grow in global¹ audience numbers I social network raggiungono fasce sempre più vaste di utenti: diminuisce la percentuale rappresentata dagli under 18 mentre aumenta quella degli over 50 infofactory Ottobre

41 e in Italia? Fonte: infofactory Ottobre

42 Tempo speso sui social media Fonte: enwire/global/led-byfacebook-twitter-globaltime-spent-on-social-mediasites-up-82-year-over-year/ *Global data takes into account the following countries: U.S., U.K., Australia, Brazil, Japan, Switzerland, Germany, France, Spain and Italy infofactory Ottobre

43 Social influence in Italia Quanto consideri attendibili i seguenti mezzi/luoghi per informarti PRIMA di effettuare un acquisto? I Social Media facilitano le ricerche di informazioni relative a marche/prodotti/servizi, amplificando gli effetti del passaparola Internet viene considerato il mezzo/luogo più attendibile per informarsi prima di effettuare un acquisto, passando dal terzo posto del 2007 al primo del 2008 (Fonte: Milward Brown, Campione di 5000 interviste online) infofactory Ottobre

44 Maggiore interazione online Una richiesta di maggiore interazione. Per l'83% degli internauti, le aziende e i marchi dovrebbero sviluppare nuove modalità di interazione con i propri clienti e quasi l'80% ritiene opportuna una presenza attiva dei brand nei social media. Focalizzazione sul marketing Tra le iniziative che ( ) destano maggiore interesse nelle aziende, e che pensano di mettere in atto, i manager segnalano: 1. marketing online (67%) 2. corporate/brand communication (61%) 3. ascolto/monitoraggio del Web (57%) Ricerca condotta da Cohn & Wolfe, con il supporto tecnico di Lightspeed Research, su oltre 200 consumatori online tra i 18 e i 54 anni e su più di 80 manager di marketing e di comunicazione di aziende operanti in Italia. infofactory Ottobre

45 Caratteristiche e valore delle conversazioni online SPONTANEE: Le conversazioni sul Web sono spontanee : gli utenti esprimono liberamente la propria opinione e non sono guidate negli argomenti; IMPREVEDIBILI: Proprio per la loro spontaneità e per il fatto che il contesto non è pilotato, le conversazioni possono far emergere aspetti e/o problematiche inaspettati e imprevedibili: questi possono essere dei validi spunti per attuare azioni correttive, reimpostare le campagne comunicative, dare nuova conoscenza utile allo sviluppo di nuovi prodotti; TEMPESTIVE: È possibile monitorare le conversazioni in tempo reale, e quindi avere dei feedback rapidi riguardo le azioni intraprese sul mercato: oggi i rumours vengono prima di tutto riportati sul Web, poi sui media tradizionali; SPECIFICHE: È possibile analizzare l opinione dei diretti interessati : soprattutto per quanto riguarda i mercati di nicchia, si ascoltano i reali utilizzatori del prodotto/servizio (le nicchie non possono essere rappresentate da campioni statistici di famiglie e di individui!). infofactory Ottobre

46 Caratteristiche e valore delle conversazioni online FACILI DA PUBBLICARE: Ogni individuo può esprimere opinioni e attivare delle conversazioni, positive o negative, che possono diffondersi sul web anche molto velocemente. (es. iphone + FB + Twitter) PERSISTENTI NEL TEMPO: Le opinioni espresse rimangono nella Rete per anni, vengono indicizzate dai motori di ricerca e linkate da altri. La visibilità di una notizia online che danneggia un brand non è limitata nel tempo come succede per la carta stampata ma è persistente e sempre visibile: le opinioni possono essere consultate e duplicate un numero infinito di volte. INFLUENZANO I MASS MEDIA: Le conversazioni sul Web 2.0 possono anticipare trend, informazioni o situazioni pericolose per l azienda che possono catturare l attenzione dei mass media tradizionali. Non ascoltare le conversazioni è un occasione perduta per le aziende: si tratta dell occasione di conoscere la vita dei prodotti fuori dalle fabbriche, di comprendere come vengono usati e perché sono amati o odiati. È l occasione di conoscere il proprio mercato e i propri consumatori: parlare con i consumatori aiuta un azienda a pensare ai propri prodotti in modo diverso, nuovo, a comprendere il modo in cui li vedono coloro che li usano. infofactory Ottobre

47 TECNOLOGIE DI ANALISI DEL TESTO Crawling Scraping Filtering Semantic Analysis Classification Sentiment Analysis Social Network Analysis infofactory Ottobre

48 Monitoraggio delle Conversazioni online A seconda degli obiettivi strategici è possibile realizzare diverse analisi tra loro correlate. BRAND AWARNESS. BRAND IMAGE. BRAND EQUITY. BRAND STRATEGY. CONCORRENZA PERCEPITA. NUOVI BISOGNI. OPEN INOVATION NUOVE IDEE PER MIGLIORARE IL PRODOTTO. IMPATTO DI UNA CAMPAGNA DI COMUNICAZIONE. MAPPATURA DEI LUOGHI. MAPPATURA DEGLI OPINION LEADER. DISINFORMAZIONE SUL PRODOTTO. Maggiori dettagli su infofactory Ottobre

49 Reputation Management La pubblicità crea interesse e fa conoscere un prodotto. La buona reputazione online lo fa vendere. È possibile misurare la reputazione di un prodotto, brand, evento, personaggio pubblico ecc. in termini di opinioni positive/negative su specifici parametri di analisi. infofactory Ottobre

50 Analisi del clima sociale Alcuni argomenti di interesse sociale (Crisi economica, gestione rifiuti, energia nucleare, aborto, ecc.) possono essere monitorati per analizzare lo stato e i cambiamenti del clima sociale. COSA Quali tematiche sono più discusse nel tempo? Ci sono tematiche emergenti da considerare? Vi è disinformazione sull argomento? CHI Quali sono le tipologie di persone che partecipano alle discussioni? Opinion leader e influencer? Ci sono categorie di persone particolarmente coinvolte? Si possono contattare? COME Le discussioni/opinioni sono positive o negative? Su quali aspetti in particolare? Qual è il grado di carica emotiva degli utenti? DOVE Quali sono i luoghi online in cui sono presenti le discussioni? Quali sono i luoghi più importanti e con più alta capacità di propagazione della notizia? Dove si stanno espandendo le discussioni? QUANDO Evoluzione nel tempo? Picchi di pressione mediatica? infofactory Ottobre

51 Competitive Intelligence Le azioni che riguardano la competitive intelligence ossia la definizione, la raccolta, l analisi e la distribuzione di informazioni di intelligence riguardo prodotti, concorrenti, tecnologie, clienti ed altri aspetti dell ambiente competitivo delle aziende, possono essere supportate da nuovi strumenti e metodologie che utilizzano il Web. Paper scientifici, report su nuove tecnologie, news finanziarie, rumors, conversazioni di clienti, concorrenti, partner, investitori e molte altre sorgenti di informazione possono essere analizzate per estrarre dati e informazioni che tra loro relazionati possono fornire conoscenza strutturata su diversi aspetti come ad esempio: Fornitori, Materiali, Tecnologie, Mappa e analisi dei Competitor, identificazione nuovi competitor, identificazione punti deboli dei prodotti concorrenti, identificazione movimenti aziendali, rumors su nuove tecnologie, ecc. infofactory Ottobre

52 Technological Monitoring Quando la competitività di un organizzazione è basata sulla conoscenza di un settore tecnologico è fondamentale essere aggiornati tempestivamente su novità, cambiamenti e rumors.. monitoraggi specifici di paper scientifici, community di esperti, opinioni e valutazione di nuove tecnologie, notizie da laboratori di ricerca ed altro ancora infofactory Ottobre

53 Crisis Management I processi di gestione di una crisi possono essere supportati da sistemi di analisi del Web in grado di fornire in tempo reale una misurazione della situazione Misurare tempestivamente la propagazione della notizie Identificare nuove direzioni nelle discussioni e negli argomenti, Mappare i luoghi informativi colpiti dalle notizie negative, Identificare i principali denigratori, Identificare luoghi e gruppi in cui le discussioni pericolose si sviluppano più velocemente, Studiare i propri interventi correttivi e i loro effetti. Misurare la diffusione delle notizie pericolose ed analizzare il sentiment e la carica emotiva degli interventi. infofactory Ottobre

54 Crisis Management infofactory Ottobre

55 Crisis Management infofactory Ottobre

56 57

57 infofactory srl - Parco Scientifico e Tecnologico L. Danieli - via J.Linussio 51, UDINE - Tel /4 - info@infofactory.it