Data warehouse: casi di studio DataBase and Data Mining Group of Politecnico di Torino

Transcript

1 DataBase and Data Mining Group of Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Data warehouse Casi di studio Gestione vendite in una catena di supermercati Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 1 Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 2 Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Tipologia di applicazione Obiettivi del progetto Tenere sotto controllo i volumi di vendita Rivendita al dettaglio di prodotti freschi e confezionati monitoraggio delle vendite marketing Aspetti importanti i beni sono prodotti e promossi da altre entità (altre aziende o altre divisioni interne alla catena di supermercati) il marketing ha il compito di attrarre nei supermercati I clienti a cui vendere i prodotti Copyright Tutti i diritti riservati possibilità di effettuare varie logie di analisi (per prodotto, categoria, area geografica, di tempo,...) Individuare promozioni in grado di attrarre clienti nei supermercati selezione del prodotto da promuovere valutazione dell efficacia della promozione DATA WAREHOUSE: CASI DI STUDIO - 3 Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 4 Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Sorgenti informative Monitoraggio vendite I dati per il data mart sar forniti da Il data mart per il monitoraggio delle vendite conterrà la descrizione dei movimenti giornalieri in ciascun supermercato ðla granularità è SKU per supermercato per giorno Non è stata scelta la granularità della singola transazione di acquisto perchè dati rilevati ai POS (point-of-sale) dei supermercati lettura del a barre di ogni prodotto venduto nessuna informazione è disponibile sull identità dei clienti informazioni sulle promozioni in una base dati gestita dal marketing la base dati avrebbe avuto una dimensione eccessiva la granularita prescelta soddisfa anche le esigenze del marketing Dimensioni giorno supermercato prodotto Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 5 Copyright Tutti i diritti riservati Pag. 1 DATA WAREHOUSE: CASI DI STUDIO - 6

2 DataBase and Data Mining Group of Database and data mining group, settimana evento Giorno categoria prodotto marca dieta distretto responsabile vendita VENDITA quantità venduta _lordo coupon_produttore coupon_negozio _netto costo num. scontrini area vendita Descrive la dimensione temporale (quasi) sempre presente offre informazioni che v oltre la semplice data gerarchia temporale prima dimensione nell ordinamento fisico (dati inseriti in ordine di tempo) negozio DATA WAREHOUSE: CASI DI STUDIO - 7 Copyright Tutti i diritti riservati DataBase and Data Mining Group of Dimensione Giorno giorno festività data DataBase and Data Mining Group of reparto dimensione peso Database and data mining group, Fact schema per le vendite d_key data numero_giorno giorno_della_settimana numero_giorno_in_settimana numero_giorno_in_ settimana_in_ settimana_in testo _numero feriale/festivo _festività _ultimo_giorno_del_ evento... DATA WAREHOUSE: CASI DI STUDIO - 8 Copyright Tutti i diritti riservati Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Dimensione Prodotto Prodotto Descrive ogni SKU in vendita molti attributi descrittivi gerarchia merceologica p_key SKU marca categoria reparto _ dimensione dietetico peso ampiezza_scaffale profondità_scaffale altezza_scaffale Supermercato Descrive ogni negozio della catena dimensione geografica gerarchia geografica classica gerarchia sull organizzazione della rete di vendita DATA WAREHOUSE: CASI DI STUDIO - 9 Copyright Tutti i diritti riservati Dimensione Supermercato Copyright Tutti i diritti riservati s_key città provincia stato responsabile distretto_vendita regione_vendita data_apertura _pianta sup_totale sup_rep_macelleria DATA WAREHOUSE: CASI DI STUDIO - 10 Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Tabella dei fatti Vendita Vendita Descrive gli eventi di interesse opportuno memorizzare anche misure derivate che semplifichino i calcoli _netto=_lordo(coupon_produttore+coupon_negozio) guadagno=_netto-costo Raccolta dei dati Come trasferire le informazioni sulle vendite nel data mart? d_key p_key s_key quantità venduta _lordo coupon_produttore coupon_negozio _netto costo guadagno numero_scontrini come singole transazioni alle casse aggregazione sul giorno calcolata durante il processo di alimentazione informazione disponibile per le preelaborazioni al livello di dettaglio a cui è creata come aggregati precalcolati dal POS distinzione sulle logie di coupon si riduce la quantità di informazione da trasferire non è possibile mantenere correttamente viste materializzate sulle misure non additive emessi dal fabbricante emessi dal supermercato numero_scontrini non è additivo sulla dimensione prodotto Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 11 Copyright Tutti i diritti riservati Pag. 2 DATA WAREHOUSE: CASI DI STUDIO - 12

3 DataBase and Data Mining Group of Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Osservazioni Osservazioni Le sorgenti supportano le informazioni richieste nel data mart? Tecniche adottate per aumentare la conoscenza dei propri clienti carte fedeltà che offrono sconti e accesso a casse preferenziali il sistema POS supporta l associazione del coupon con il prodotto a cui fa riferimento? sono richiesti dati anagrafici rivelano l identità dell acquirente se no, occorre rivedere il progetto richiesta del postale alla cassa ci sono coupons associati all intera transazione di cassa? rivelano informazione geografica, ma non l identità del coupons per cui è necessario fornire o numero di occorre aggiungere un nuovo attributo altri_sconti per allocare lo sconto globale su tutti i prodotti che f parte della transazione di cassa DATA WAREHOUSE: CASI DI STUDIO - 13 Copyright Tutti i diritti riservati permettono di associare il alla vendita permettono di correlare la promozione con l acquisto Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 14 Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Gestione delle promozioni Gestione delle promozioni Supporto per Inserimento di una nuova dimensione Promozione decidere quali prodotti promuovere valutare l effetto di una promozione le promozioni durano una settimana la loro granularità è compatibile con quella del fact schema lift: aumento delle vendite del prodotto promosso durante il di promozione time shifting: il prodotto promosso mostra una caduta delle vendite dopo il termine del di promozione cannibalizzazione: le vendite del prodotto in promozione sono aumentate, ma è avvenuta una riduzione delle vendite di prodotti similari crescita del mercato: tutti i prodotti nella categoria del prodotto promosso subiscono un aumento delle vendite la relazione tra prodotto e promozione è stabilita mediante l evento vendita L impatto dell estensione è molto limitato non occorre modificare il fact schema relativo alle vendite è possibile svolgere verifiche puntuali sui prodotti per verificare l efficacia di una promozione confrontare diverse logie di promozione Si tralascia la gestione del costo della promozione DATA WAREHOUSE: CASI DI STUDIO - 15 Copyright Tutti i diritti riservati Copyright Tutti i diritti riservati Database and data mining group, Fact schema modificato per le promozioni evento distretto responsabile vendita VENDITA promozione giornale la condizione di non promozione è rappresentata da una riga con tutti i a 0 TV demo le date possono essere semplici attributi oppure far riferimento alla dimensione Giorno giornale DATA WAREHOUSE: CASI DI STUDIO - 17 Descrive le condizioni di promozione di ogni prodotto venduto ogni logia di promozione è rappresentata da un e da un campo che la descrive area vendita negozio quantità venduta _lordo coupon_produttore coupon_negozio _netto costo num. scontrini data inizio data fine Copyright Tutti i diritti riservati Promozione marca dieta prodotto settimana DataBase and Data Mining Group of Dimensione Promozione giorno festività data DataBase and Data Mining Group of categoria peso Database and data mining group, reparto dimensione DATA WAREHOUSE: CASI DI STUDIO - 16 Copyright Tutti i diritti riservati Pag. 3 DATA WAREHOUSE: CASI DI STUDIO - 18 pr_key _giornali _giornale (domenica, infrasettimanale,...) _riduzione_prezzo _riduzione (coupon, sconto, carta fedeltà,...) _demo _demo (assaggio, video display,...) _radio _volantini _televisione data_inizio data_fine responsabile

4 DataBase and Data Mining Group of Database and data mining group, Database and data mining group, Dimensione promozione DataBase and Data Mining Group of DataBase and Data Mining Group of Analisi invenduto La dimensione Promozione non è normalizzata Quali prodotti, pur essendo stati promossi, non sono stati venduti? contiene una riga per ogni promozione, che rappresenta cumulativamente tutte le tecniche di promozione adottate Alternativa: dimensione Promozione normalizzata con una riga per ogni logia di promozione con lo schema attuale non è possibile rispondere a questa domanda non è stata modellata la relazione tra un prodotto e la sua promozione (è rappresentata dalla vendita) si stabilisce una relazione molti a molti tra il fatto e la dimensione Vantaggi facile aggiungere nuovi tipi di promozione Occorre un nuovo fact schema che modelli la presenza di promozioni Svantaggi difficile eseguire analisi sull effetto globale di una promozione non ha misure poiché rappresenta solo l evento è in promozione in SQL occorre realizzare l interrogazione mediante una o più subquery La soluzione non normalizzata è preferibile Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 19 Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 20 Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Coverage fact schema reparto dimensione peso prodotto Analisi dei dati Lo schema progettato supporta molte logie di indagini Alcune analisi possibili categoria marca dieta distretto responsabile vendita PROMOZIONE EFF. negozio area vendita selezione dei prodotti da promuovere uso del numero_scontrini per valutare i prodotti popolari ranking dei prodotti venduti in più scontrini (e.g., top ten) promozione data inizio data fine giornale TV demo misura non additiva sulla dimensione prodotto se è necessario aggregare, occorre memorizzare viste materializzate precalcolate in alternativa si possono valutare valori medi giornale spezzatura degli stessi dati a livello di regione/area geografica selezione del momento in cui promuovere l analisi delle vendite totali per settimana permette di riconoscere i periodi in cui le vendite globali rallentano Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 21 Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 22 Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Analisi dei dati valutazione dell effetto della promozione confronto delle vendite per il prodotto promosso/non promosso Marketing in un azienda telefonica confronto tra regioni dove è avvenuta la promozione e dove non è avvenuta effetto della promozione dello stesso prodotto con media diversi confronto delle vendite tra regioni dove la promozione è avvenuta con media diversi effetto generale sulle vendite di tutti i prodotti dello stesso escludendo dal totale le vendite del prodotto promosso Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 23 Copyright Tutti i diritti riservati Pag. 4 DATA WAREHOUSE: CASI DI STUDIO - 24

5 DataBase and Data Mining Group of Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Applicazione Aspetti fondamentali evidenziati Gestione marketing dell utenza residenziale di un azienda telefonica Necessità di analizzare una combinazione di servizi forniti ad un integrazione di dati provenienti da sistemi diversi possibile esigenza di modificare anche i sistemi OLTP per migliorare la raccolta di informazioni conoscenza discreta dei clienti ricevono la bolletta ogni più difficile conoscere a quali servizi sono interessati le informazioni sono disperse in numerose basi di dati Intenzione di usare il data mart per studiare variazione nelle richieste di servizi nel tempo Esigenze molto simili per utenza residenziale e affari gestione linee telefoniche altri servizi (ISDN, web,...) pubblicità nelle guide del gestione guasti considerare per future espansioni la compatibilità della granularità e delle dimensioni esigenze simili per utenza residenziale e utenza affari Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 25 DATA WAREHOUSE: CASI DI STUDIO - 26 Copyright Tutti i diritti riservati Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Obiettivi del progetto Fatti custom e core La dimensione può rappresentare Fornire un quadro composito di tutti i servizi forniti ad ogni Facilitare l analisi cross-sell Tenere sotto controllo variazioni nelle richieste di servizi Seguire gli spostamenti (traslochi) di singoli clienti privati utenza affari Per tener conto di entrambe le logie di clienti la dimensione ha attributi diversi nei due casi i fatti sono descritti da misure diverse nei due casi È opportuno avere un fatto core caratterizzato dalle misure comuni a entrambe le logie due fatti custom, uno per logia, con le misure comuni quelle specifiche per la logia considerata due dimensioni custom, oltre alla dimensione core Si progetta per primo uno schema custom (privati) valutando la granularità appropriata per entrambi Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 27 Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 28 Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Sorgenti informative Selezione granularità I dati per il data mart sar forniti da Le sorgenti informative operano su ciclo mensile ðla granularità della dimensione tempo sarà Il data mart fornirà un istantanea mensile dei servizi per Dimensioni due sistemi diversi di fatturazione delle bollette fatturazione ISP fatturazione consumo cellulari proveniente dall azienda controllante fatturazione servizi ISDN Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 29 Copyright Tutti i diritti riservati Pag. 5 DATA WAREHOUSE: CASI DI STUDIO - 30

6 DataBase and Data Mining Group of Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Fact schema per il marketing Dimensione Mese descrizione Mese numero e e ATTIVITà CLIENTE Descrive la dimensione temporale stessa granularità delle bollette gerarchia temporale num_chiamate_urbane min_chiamate_urbane num_chiamate_interurb min_chiamate_interurb min_collegamento DATA WAREHOUSE: CASI DI STUDIO - 31 Copyright Tutti i diritti riservati numero m_key _ numero _e e_... DATA WAREHOUSE: CASI DI STUDIO - 32 Copyright Tutti i diritti riservati Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Dimensione Cliente residenziale Cliente residenziale Descrive i clienti dell azienda specificamente dedicata alle informazioni importanti per i clienti residenziali gerarchia geografica cardinalità tipicamente elevata c_key _ città provincia numero DATA WAREHOUSE: CASI DI STUDIO - 33 Copyright Tutti i diritti riservati Dimensione Servizio Servizio Descrive i servizi offerti dall azienda ogni elemento descrive un (segreteria telefonica, chiamata in attesa, ISDN,...) Copyright Tutti i diritti riservati s_key _ descr_ DATA WAREHOUSE: CASI DI STUDIO - 34 Database and data mining group, Database and data mining group, Analisi critica del progetto DataBase and Data Mining Group of Tabella dei fatti Attività DataBase and Data Mining Group of La dimensione è normalizzata Attività Descrive gli eventi di interesse una riga per ogni fatturato a ogni utente per lo stesso, un utente può avere più righe nella tabella dei fatti le misure devono essere note al livello di dettaglio della granularità scelta m_key c_key se_key numero_chiamate_urbane minuti_chiamate_urbane numero_chiamate_interurbane minuti_chiamate_interurbane minuti_collegamento contiene una riga per ogni erogato ðla tabella dei fatti contiene una riga per ogni fatturato ad ogni difficile eseguire analisi cross-sell Per alcuni servizi, non sono definite alcune misure previste nella tabella dei fatti Esempio: numero_di_linee per Internet Alcuni servizi sono venduti insieme difficile scorporare i dati di costo e separarli per i diversi servizi Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 35 Copyright Tutti i diritti riservati Pag. 6 DATA WAREHOUSE: CASI DI STUDIO - 36

7 DataBase and Data Mining Group of Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Esempio di analisi cross-sell Fact schema alternativo ISDN Quali utenti h ISDN, ma non Internet? chiamata in attesa in SQL occorre realizzare l interrogazione mediante una subquery utenti che non h Internet con NOT IN correlazione sullo stesso di tempo ðcomplesso scrivere l interrogazione ðinefficiente eseguire l interrogazione Copyright Tutti i diritti riservati numero e DATA WAREHOUSE: CASI DI STUDIO - 37 Internet segreteria e cellulare ATTIVITà CLIENTE numero num_chiamate_urbane min_chiamate_urbane num_chiamate_interurb min_chiamate_interurb min_collegamento DATA WAREHOUSE: CASI DI STUDIO - 38 Copyright Tutti i diritti riservati Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Analisi critica dell alternativa Dimensione Servizio (alternativa) Riduzione della granularità della tabella dei fatti ogni utente ha una riga al i servizi diversi di ogni sono rappresentati mediante una serie di Servizio Descrive i servizi offerti dall azienda ogni elemento descrive un pacchetto di servizi ogni attributo è booleano (S/N) e indica se il è offerto potenzialmente tutte le combinazioni sono possibili La dimensione non è più normalizzata le interrogazioni per analisi cros-sell non richiedono più l uso di subquery non è più necessario separare pacchetti di servizi le misure della tabella dei fatti sono associate all insieme completo di servizi Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 39 se_key _chiamata_in_attesa _identificazione_chiamante _segreteria _cellulare _internet _ISDN la cardinalità è elevata DATA WAREHOUSE: CASI DI STUDIO - 40 Copyright Tutti i diritti riservati Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Osservazioni Fact schema con stato ISDN È necessario poter seguire il che trasloca chiamata in attesa numero di o nella dimensione non sono adatti per riconoscere lo stesso segreteria si usa il assegnato dall azienda oppure il è necessario riconoscere il momento temporale in cui avviene la transizione (il trasloco) numero e nuova dimensione (del ) che consenta di indicare varie logie di stato e Internet cellulare ATTIVITà CLIENTE numero num_chiamate_urbane min_chiamate_urbane num_chiamate_interurb min_chiamate_interurb min_collegamento esempi: nuovo, nuova residenza nuovo Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 41 Copyright Tutti i diritti riservati Pag. 7 nuova residenza DATA WAREHOUSE: CASI DI STUDIO - 42

8 DataBase and Data Mining Group of Database and data mining group, Database and data mining group, Dimensione Status Status Descrive lo stato attuale dei clienti gli attributi sono booleani (S/N) non è storicizzata Variazioni nelle richieste di DataBase and Data Mining Group of DataBase and Data Mining Group of La dimensione Status rappresenta la situazione attuale di ogni st_key nuovo_ nuova_residenza può essere utilizzata per tener traccia delle variazioni di richieste di servizi Per ogni di, si aggiunge una nuova colonna per rappresentare richiesta attivazione disattivazione La dimensione Status non è normalizzata possibile identificare facilmente le nuove richieste di servizi e gli abbandoni DATA WAREHOUSE: CASI DI STUDIO - 43 Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 44 Copyright Tutti i diritti riservati Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Fact schema finale Dimensione Status ISDN chiamata in attesa segreteria numero e e Status cellulare ATTIVITà CLIENTE numero num_chiamate_urbane min_chiamate_urbane num_chiamate_interurb min_chiamate_interurb min_collegamento nuovo nuova residenza Copyright Tutti i diritti riservati Internet Descrive lo stato attuale dei clienti gli attributi possono assumere i valori attivato immutato disattivato Internet ISDN chiamata in attesa st_key nuovo_ nuova_residenza _chiamata_in_attesa _identificazione_chiamante _voice_mail _cellulare _Internet _ISDN cellulare DATA WAREHOUSE: CASI DI STUDIO - 45 Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 46 Database and data mining group, Database and data mining group, DataBase and Data Mining Group of DataBase and Data Mining Group of Tabella dei fatti Attività Attività Analisi dei dati Lo schema progettato supporta molte logie di indagini Alcune analisi possibili m_key c_key se_key st_key numero_chiamate_urbane minuti_chiamate_urbane numero_chiamate_interurbane minuti_chiamate_interurbane minuti_collegamento analisi per cross-selling analisi della tendenza di crescita/decrescita del numero di clienti con numero alto di servizi semplificata dalla denormalizzazione della dimensione Servizio il numero di clienti è un count per servizi correlati (per esempio, ISDN e accesso Internet), analisi del numero di clienti che ne h uno solo o entrambi offerta di nuovi servizi per gli utenti che traslocano semplificata dal indicatore di nuova residenza nella dimensione Status Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 47 Copyright Tutti i diritti riservati Pag. 8 DATA WAREHOUSE: CASI DI STUDIO - 48

9 DataBase and Data Mining Group of DataBase and Data Mining Group of D B Analisi dei dati Database and data mining group, D B M G data mining cross-selling: ricerca delle correlazioni più frequenti (tra servizi) itemsets, regole di associazione riconoscimento della propensione all abbandono (customer attrition o customer churn) classificazione utile una dimensione molto ricca il monitoraggio dettagliato del consumo permette la profilazione dei clienti segmentazione dei clienti clustering Copyright Tutti i diritti riservati DATA WAREHOUSE: CASI DI STUDIO - 49 Pag. 9