Web Data Integration nell ambito dell ecommerce

Transcript

1 Web Data Integration nell ambito dell ecommerce Corso di Intelligenza Artificiale - Laurea Magsitrale In Informatica - A.A. 2013/2014 Riccardo Porrini

2 About Me da Gennaio 2009 sviluppatore presso 7Pixel (ecommerce) Laurea Magistrale nel Luglio 2011 (Informatica) da Gennaio 2013 studente di Dottorato (Informatica) Interessi di Ricerca (in breve): Web Data Integration Dataspace Management Systems Semantic Web Riccardo Porrini Web Data Integration nell ambito dell ecommerce 2/50

3 Sommario Web Data Integration Price Comparison Engine Facet Extraction Linked Data per l ecommerce Riccardo Porrini Web Data Integration nell ambito dell ecommerce 3/50

4 Web Data Integration

5 Data Integration Data integration is the problem of providing unified and transparent access to a collection of data stored in multiple, autonomous, and heterogeneous data sources D. Calvanese - Riccardo Porrini Web Data Integration nell ambito dell ecommerce 5/50

6 Data Integration Autonomia: fonti informative isolate e mantenute indipendentemente dalle altre Eterogeneitá: fonti informative espongono informazione diversa, a livello di schema ma anche di istanze Riccardo Porrini Web Data Integration nell ambito dell ecommerce 5/50

7 Architettura concettuale di un Data Integration System D. Calvanese - Riccardo Porrini Web Data Integration nell ambito dell ecommerce 6/50

8 Web Data Integration Bassa Prossimitá Amministrativa Le fonti non possono essere messe sotto controllo [1] Franklin et al. From Databases to Dataspaces: A New Abstraction for Information Management. In SIGMOD Record, 2005 Riccardo Porrini Web Data Integration nell ambito dell ecommerce 7/50

9 Web Data Integration Bassa Integrazione Semantica É difficile ricondurre schemi/istanze delle sorgenti ad un unico schema/repository di istanze globale [1] Franklin et al. From Databases to Dataspaces: A New Abstraction for Information Management. In SIGMOD Record, 2005 Riccardo Porrini Web Data Integration nell ambito dell ecommerce 7/50

10 Dinamicitá del Web Riccardo Porrini Web Data Integration nell ambito dell ecommerce 8/50

11 Dinamicitá del Web Riccardo Porrini Web Data Integration nell ambito dell ecommerce 8/50

12 DataSpace Management System Heterogeneous Information Sources DataSpace Management System Refinement Mappings Domain Experts... Source Schema / Instances Target Schema / Instances Application Front-end Querying Browsing End-Users Riccardo Porrini Web Data Integration nell ambito dell ecommerce 9/50

13 Intelligenza Artificiale e Web Data Integration Classificazione Riconciliazione (semi) automatica di schemi ed istanze Feedback Implicito (inferito dall osservazione del comportamento degli utenti finali) Esplicito (dagli esperti di dominio) Rappresentazione della Conoscenza A supporto della classificazione Per arricchire le informazioni integrate Riccardo Porrini Web Data Integration nell ambito dell ecommerce 10/50

14 Price Comparison Engine

15 TrovaPrezzi e ShoppyDoo Riccardo Porrini Web Data Integration nell ambito dell ecommerce 12/50

16 TrovaPrezzi e ShoppyDoo Riccardo Porrini Web Data Integration nell ambito dell ecommerce 12/50

17 Integrazione delle Offerte Riccardo Porrini Web Data Integration nell ambito dell ecommerce 13/50

18 Tassonomie Riccardo Porrini Web Data Integration nell ambito dell ecommerce 14/50

19 Un esempio di Tassonomia Vini Vini Bianchi Vini Rossi Vermentino... Verdicchio Barolo... Bonarda Riccardo Porrini Web Data Integration nell ambito dell ecommerce 15/50

20 Facets Riccardo Porrini Web Data Integration nell ambito dell ecommerce 16/50

21 Relazioni Reciproche Category -Name 1 * Product -FixedProductName 1 Merchant -WebSiteUrl Facet -Value Offer -ProductUrl -Popularity -Price * Riccardo Porrini Web Data Integration nell ambito dell ecommerce 17/50

22 DataSpace Management nell ecommerce Source Taxonomies / Instances DataSpace Management System... Target Taxonomy / Instances Refinement Mappings Domain Experts Querying Browsing End-Users Riccardo Porrini Web Data Integration nell ambito dell ecommerce 18/50

23 Facet Extraction

24 Facet: Definizione Facet (from classification Theory) Clearly defined, mutually exclusive, and collectively exhaustive aspect, property, or characteristic of a class or specific subject [1] Taylor et al. Wynar s introduction to cataloging and classification. In Library and information science text series, 2004 Riccardo Porrini Web Data Integration nell ambito dell ecommerce 20/50

25 le Facet di ShoppyDoo Riccardo Porrini Web Data Integration nell ambito dell ecommerce 21/50

26 Definzione e Manutenzione Definizione: manuale ad opera di esperti di dominio associazione manuale ai prodotti del catalogo Manutenzione: Assente Problemi: come discriminare facet (o valori di facet) rilevanti/interessanti? come aggiornare valori e corrispondenze nel tempo, con sforzo limitato da parte degli esperti di dominio? Riccardo Porrini Web Data Integration nell ambito dell ecommerce 22/50

27 Possibili Soluzioni Estrazione dinamica dai risultati delle interrogazioni [1, 2] difficile applicazione su testo relativamente breve come la descrizione di un offerta serendipity? Estrazione dai documenti e dai query logs [3, 4] difficile applicazione su testo relativamente breve come la descrizione di un offerta non é possibile suggerire ció che gli utenti non hanno cercato bisogna conoscere a priori le caratteristiche salienti delle offerte [1] Li et al. Facetedpedia: Dynamic Generation of Query-Dependent Faceted Interfaces for Wikipedia. In WWW, 2010 [2] Kong et al. Extracting Query Facets from Search Results. In SIGIR, 2013 [3] Pound et al. Facet Discovery for Structured Web Search: A Query-log Mining Approach. In SIGMOD, 2011 [4] Dou et al. Finding Dimensions for Queries. In CIKM, 2011 Riccardo Porrini Web Data Integration nell ambito dell ecommerce 23/50

28 Tassonomie Sorgenti Vino Millesimato Prosecco Spumante Campania Bianco Rosato Rosso Vini Bianco Rosso Abruzzo Campania Abruzzo Campania Puglia Sicilia Puglia Sicilia Riccardo Porrini Web Data Integration nell ambito dell ecommerce 24/50

29 Problem Statement Wines Domain Experts Defined mappings Cabernet 0,50 cl 0,75 cl Fabiano Intenso... Red Wines Grape Wines Cabernet Bordeaux Cabernet Bordaux Inferred Facets Inferred Mappings Chateau Greysac 2009 Riccardo Porrini Web Data Integration nell ambito dell ecommerce 25/50

30 Alcuni Numeri Some Numbers 500 Target Categories 7M Offers 3164 emarketplaces 900K mappings 300 mappings for each emarketplace (average) Riccardo Porrini Web Data Integration nell ambito dell ecommerce 26/50

31 Caratteristiche Ambiguity Different semantics for different contexts Heterogeneity Each Source Taxonomy is different type Wines red type wines white white wines by vine chardonnay T-Shirts color greco di tufo catarratto producer firriato Riccardo Porrini Web Data Integration nell ambito dell ecommerce 27/50

32 Anatomia di un Mapping Formalmente: Tassonomia Sorgente: T = {P 1,..., P n } Categoria Sorgente: s Categoria Destinazione: t Mapping: t P = {s 1,..., s k } esempio: vini {vini bianchi, puglia produzione biologica} Riccardo Porrini Web Data Integration nell ambito dell ecommerce 28/50

33 Overview dell Approccio Mappings Candidate Values Wines Wines Wines Wines Red Wines Red Wines Wines Wines... 0,50 cl 0,75 cl Bordaux Cabernet Cabernet Normalization Cabernet Bordeaux Red Wines 0,50 cl 0,75 cl... Clustering Facets Groups Grape Cabernet Bordeaux Bottle 0,50 cl 0,75 cl Labelling Disambiguation Cabernet Bordeaux Red Wines 0,50 cl 0,75 cl... Riccardo Porrini Web Data Integration nell ambito dell ecommerce 29/50

34 Estrazione dei Valori Candidati Mapping split vini bianchi vino vino bianco puglia produzione biologica stemming (Hunspell) vino bianco vino vino bianco puglia produzione biologica ranking Candidate Values vino bianco vino puglia produzione biologica rank(s) = {P s.t. s P} Riccardo Porrini Web Data Integration nell ambito dell ecommerce 30/50

35 Estrazione dei Valori Candidati Riccardo Porrini Web Data Integration nell ambito dell ecommerce 30/50

36 Raggruppamento: Princípi Obiettivo Definire una misura che catturi quanto due valori candidati siano raggruppabili Principi Strutturali Riccardo Porrini Web Data Integration nell ambito dell ecommerce 31/50

37 Raggruppamento: Princípi Obiettivo Definire una misura che catturi quanto due valori candidati siano raggruppabili Principi Strutturali Level Similarity: Due valori sono tanto piú raggruppabili quanto piú co-occorrono nello stesso livello all interno di una tassonomia sorgente Riccardo Porrini Web Data Integration nell ambito dell ecommerce 31/50

38 Raggruppamento: Princípi Obiettivo Definire una misura che catturi quanto due valori candidati siano raggruppabili Principi Strutturali Level Similarity: Due valori sono tanto piú raggruppabili quanto piú co-occorrono nello stesso livello all interno di una tassonomia sorgente Path Similarity: Due valori sono tanto meno raggruppabili quanto piú co-occorrono nello stesso path all interno di una tassonomia sorgente Riccardo Porrini Web Data Integration nell ambito dell ecommerce 31/50

39 Esempio Vini Bianco Rosso Abruzzo Campania Abruzzo Campania Puglia Sicilia Puglia Sicilia Riccardo Porrini Web Data Integration nell ambito dell ecommerce 32/50

40 Level Similarity n tassonomie sorgente T 1,..., T n s i s j s.s.e. d(s i, root) = d(s j, root) T i [s] classe di equivalenza di tutte le categorie sorgente s che hanno la stessa distanza dalla root nella tassonomia sorgente T i T [s] = {T i [s] i = 1... n} insieme di tutte le classi di equivalenza di s, su tutte le tassonomie sorgente Level Similarity lsim(s i, s j ) = T [s i] T [s j ] T [s i ] T [s j ] Riccardo Porrini Web Data Integration nell ambito dell ecommerce 33/50

41 Level Similarity T1 Vino Millesimato Spumante Bianco Prosecco Campania Rosato T2 Vini Rosso T 1 [campania] = {millesimato, prosecco,..., rosso} T 2 [campania] = {abruzzo, puglia, sicilia, campania} T [campania] = {T 1 [campania], T 2 [campania]} T 1 [abruzzo] = T 2 [abruzzo] = {abruzzo, puglia, sicilia, campania} T [abruzzo] = {T 1 [abruzzo]} T 1 [rosso] = {millesimato, prosecco,..., rosso} T 2 [rosso] = {bianco, rosso} T [rosso] = {T 1 [rosso], T 2 [rosso]} Abruzzo Bianco Campania Abruzzo Rosso Campania lsim(campania, abruzzo) T [campania] T [abruzzo] T [campania] T [abruzzo] = 1 2 Puglia Sicilia Puglia Sicilia lsim(rosso, campania) T [rosso] T [campania] T [rosso] T [campania] = 1 3 Riccardo Porrini Web Data Integration nell ambito dell ecommerce 33/50

42 Path Similarity n tassonomie sorgente T 1,..., T n k percorsi per la i-esima tassonomia P i 1... Pi k P si = {P s i P} insieme dei percorsi in tutte le tassonomie, che contengono s i Path Similarity psim(s i, s j ) = 1 P s i P sj P si P sj Riccardo Porrini Web Data Integration nell ambito dell ecommerce 34/50

43 Path Similarity T1 Vino P rosso = {[vino, rosso], [vini, rosso, puglia],...} P puglia = {[vini, bianco, puglia], [vini, rosso, puglia]} P bianco = {[vino, bianco], [vini, bianco, puglia],...} Millesimato Prosecco Spumante Bianco Campania T2 Vini Rosato Rosso psim(rosso, puglia) 1 P rosso P puglia P rosso P puglia Bianco Rosso = = 0.8 Abruzzo Campania Abruzzo Campania psim(bianco, rosso) Puglia Sicilia Puglia Sicilia 1 P bianco P rosso P bianco P rosso = = 1 Riccardo Porrini Web Data Integration nell ambito dell ecommerce 34/50

44 Clustering Density Based DBSCAN[1] [1] Ester et al. A density-based algorithm for discovering clusters in large spatial databases with noise. In KDD, 1996 Riccardo Porrini Web Data Integration nell ambito dell ecommerce 35/50

45 Clustering Density Based DBSCAN[1] Distance d(s i, s j ) = [1 lsim(s i, s j )] 2 + [1 psim(s i, s j )] 2 [1] Ester et al. A density-based algorithm for discovering clusters in large spatial databases with noise. In KDD, 1996 Riccardo Porrini Web Data Integration nell ambito dell ecommerce 35/50

46

47 Labelling dei Gruppi (ongoing) Groups External Knowledge Bases Cabernet Bordeaux Red Wines 0,50 cl 0,75 cl... reconciliation Riccardo Porrini Web Data Integration nell ambito dell ecommerce 37/50

48 Labelling dei Gruppi (ongoing) Riccardo Porrini Web Data Integration nell ambito dell ecommerce 37/50

49 Labelling dei Gruppi (ongoing) Riccardo Porrini Web Data Integration nell ambito dell ecommerce 37/50

50 Freebase Search Riccardo Porrini Web Data Integration nell ambito dell ecommerce 38/50

51 DBpedia Spotlight Riccardo Porrini Web Data Integration nell ambito dell ecommerce 39/50

52

53 Linked Data per l ecommerce

54 LOD Cloud Riccardo Porrini Web Data Integration nell ambito dell ecommerce 42/50

55 Vocabolari per l ecommerce - Schema.org Riccardo Porrini Web Data Integration nell ambito dell ecommerce 43/50

56 Vocabolari per l ecommerce - GoodRelations Riccardo Porrini Web Data Integration nell ambito dell ecommerce 44/50

57 Esempio (Goodrelations) Riccardo Porrini Web Data Integration nell ambito dell ecommerce 45/50

58 Schede Tecniche di Prodotto (ShoppyDoo) Riccardo Porrini Web Data Integration nell ambito dell ecommerce 46/50

59 Database di Caratteristiche Tecniche Riccardo Porrini Web Data Integration nell ambito dell ecommerce 47/50

60 Ontologia Riccardo Porrini Web Data Integration nell ambito dell ecommerce 48/50

61 Demo

62 Grazie Domande? Riccardo Porrini Web Data Integration nell ambito dell ecommerce 50/50