Data warehouse Casi di studio

Transcript

1 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio atabase and data mining group, ata warehouse Casi di studio ATA WAREHOUSE: CASI I STUIO - 1 atabase and data mining group, Gestione vendite in una catena di supermercati ATA WAREHOUSE: CASI I STUIO - 2 Pag. 1

2 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio Tipologia di applicazione atabase and data mining group, Rivendita al dettaglio di prodotti freschi e confezionati monitoraggio delle vendite marketing Aspetti importanti i beni sono prodotti e promossi da altre entità (altre aziende o altre divisioni interne alla catena di supermercati) il marketing ha il compito di attrarre nei supermercati I clienti a cui vendere i prodotti ATA WAREHOUSE: CASI I STUIO - 3 Obiettivi del progetto Tenere sotto controllo i volumi di vendita atabase and data mining group, possibilità di effettuare varie tipologie di analisi (per prodotto, categoria, area geografica, periodo di tempo,...) Individuare promozioni in grado di attrarre clienti nei supermercati selezione del prodotto da promuovere valutazione dell efficacia della promozione ATA WAREHOUSE: CASI I STUIO - 4 Pag. 2

3 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio Sorgenti informative I dati per il data mart saranno forniti da atabase and data mining group, dati rilevati ai POS (point-of-sale) dei supermercati lettura del codice a barre di ogni prodotto venduto nessuna informazione è disponibile sull identità dei clienti informazioni sulle promozioni in una base dati gestita dal servizio marketing ATA WAREHOUSE: CASI I STUIO - 5 Monitoraggio vendite atabase and data mining group, Il data mart per il monitoraggio delle vendite conterrà la descrizione dei movimenti giornalieri in ciascun supermercato la granularità è SKU per supermercato per giorno Non è stata scelta la granularità della singola transazione di acquisto perchè la base dati avrebbe avuto una dimensione eccessiva la granularita prescelta soddisfa anche le esigenze del marketing imensioni giorno supermercato prodotto ATA WAREHOUSE: CASI I STUIO - 6 Pag. 3

4 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio atabase and data mining group, Fact schema per le vendite anno giorno festività mese dimensione confezione data settimana evento tipo confezione peso prodotto tipo VENITA quantità venduta incasso_lordo coupon_produttore coupon_negozio incasso_netto costo num. scontrini categoria marca dieta reparto responsabile negozio distretto vendita città provincia regione indirizzo telefono CAP area vendita stato ATA WAREHOUSE: CASI I STUIO - 7 imensione Giorno atabase and data mining group, Giorno escrive la dimensione temporale (quasi) sempre presente offre informazioni che vanno oltre la semplice data gerarchia temporale prima dimensione nell ordinamento fisico (dati inseriti in ordine di tempo) d_key data numero_giorno giorno_della_settimana numero_giorno_in_settimana numero_giorno_in_anno settimana_in_anno settimana_in_periodo_fiscale mese_testo mese_numero periodo_fiscale anno _feriale/festivo _festività _ultimo_giorno_del_mese evento... ATA WAREHOUSE: CASI I STUIO - 8 Pag. 4

5 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio imensione Prodotto atabase and data mining group, Prodotto escrive ogni SKU in vendita molti attributi descrittivi gerarchia merceologica p_key SKU nome marca tipo categoria reparto tipo_confezione dimensione_confezione _dietetico peso ampiezza_scaffale profondità_scaffale altezza_scaffale ATA WAREHOUSE: CASI I STUIO - 9 atabase and data mining group, imensione Supermercato Supermercato escrive ogni negozio della catena dimensione geografica gerarchia geografica classica gerarchia sull organizzazione della rete di vendita s_key codice nome indirizzo telefono CAP città provincia stato responsabile distretto_vendita regione_vendita data_apertura tipo_pianta sup_totale sup_rep_macelleria ATA WAREHOUSE: CASI I STUIO - 10 Pag. 5

6 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio Tabella dei fatti Vendita atabase and data mining group, Vendita escrive gli eventi di interesse opportuno memorizzare anche misure derivate che semplifichino i calcoli incasso_netto=incasso_lordo- (coupon_produttore+coupon_negozio) guadagno=incasso_netto-costo distinzione sulle tipologie di coupon emessi dal fabbricante emessi dal supermercato numero_scontrini non è additivo sulla dimensione prodotto d_key p_key s_key quantità venduta incasso_lordo coupon_produttore coupon_negozio incasso_netto costo guadagno numero_scontrini ATA WAREHOUSE: CASI I STUIO - 11 Raccolta dei dati atabase and data mining group, Come trasferire le informazioni sulle vendite nel data mart? come singole transazioni alle casse aggregazione sul giorno calcolata durante il processo di alimentazione informazione disponibile per le preelaborazioni al livello di dettaglio a cui è creata come aggregati precalcolati dal POS si riduce la quantità di informazione da trasferire non è possibile mantenere correttamente viste materializzate sulle misure non additive ATA WAREHOUSE: CASI I STUIO - 12 Pag. 6

7 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio Osservazioni Le sorgenti supportano le informazioni richieste nel data mart? atabase and data mining group, il sistema POS supporta l associazione del coupon con il prodotto a cui fa riferimento? se no, occorre rivedere il progetto ci sono coupons associati all intera transazione di cassa? occorre aggiungere un nuovo attributo altri_sconti per allocare lo sconto globale su tutti i prodotti che fanno parte della transazione di cassa ATA WAREHOUSE: CASI I STUIO - 13 Osservazioni atabase and data mining group, Tecniche adottate per aumentare la conoscenza dei propri clienti carte fedeltà che offrono sconti e accesso a casse preferenziali sono richiesti dati anagrafici rivelano l identità dell acquirente richiesta del codice postale alla cassa rivelano informazione geografica, ma non l identità del cliente coupons per cui è necessario fornire indirizzo o numero di telefono permettono di associare il cliente alla vendita permettono di correlare la promozione con l acquisto ATA WAREHOUSE: CASI I STUIO - 14 Pag. 7

8 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio atabase and data mining group, Gestione delle promozioni Supporto per decidere quali prodotti promuovere valutare l effetto di una promozione lift: aumento delle vendite del prodotto promosso durante il periodo di promozione time shifting: il prodotto promosso mostra una caduta delle vendite dopo il termine del periodo di promozione cannibalizzazione: le vendite del prodotto in promozione sono aumentate, ma è avvenuta una riduzione delle vendite di prodotti similari crescita del mercato: tutti i prodotti nella categoria del prodotto promosso subiscono un aumento delle vendite confrontare diverse tipologie di promozione Si tralascia la gestione del costo della promozione ATA WAREHOUSE: CASI I STUIO - 15 atabase and data mining group, Gestione delle promozioni Inserimento di una nuova dimensione Promozione le promozioni durano una settimana la loro granularità è compatibile con quella del fact schema la relazione tra prodotto e promozione è stabilita mediante l evento vendita L impatto dell estensione è molto limitato non occorre modificare il fact schema relativo alle vendite è possibile svolgere verifiche puntuali sui prodotti per verificare l efficacia di una promozione ATA WAREHOUSE: CASI I STUIO - 16 Pag. 8

9 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio anno Fact schema modificato per le promozioni giorno festività mese dimensione confezione data settimana evento tipo confezione peso prodotto tipo VENITA quantità venduta incasso_lordo coupon_produttore coupon_negozio incasso_netto costo num. scontrini categoria marca dieta reparto responsabile negozio atabase and data mining group, distretto vendita città provincia regione stato indirizzo telefono CAP area vendita promozione data inizio data fine TV demo tipo giornale giornale ATA WAREHOUSE: CASI I STUIO - 17 imensione Promozione atabase and data mining group, Promozione pr_key nome _giornali escrive le condizioni di promozione di ogni prodotto venduto ogni tipologia di promozione è rappresentata da un e da un campo che la descrive la condizione di non promozione è rappresentata da una riga con tutti i a 0 le date possono essere semplici attributi oppure far riferimento alla dimensione Giorno ATA WAREHOUSE: CASI I STUIO - 18 tipo_giornale (domenica, infrasettimanale,...) _riduzione_prezzo tipo_riduzione (coupon, sconto, carta fedeltà,...) _demo tipo_demo (assaggio, video display,...) _radio _volantini _televisione data_inizio data_fine responsabile Pag. 9

10 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio imensione promozione atabase and data mining group, La dimensione Promozione non è normalizzata contiene una riga per ogni promozione, che rappresenta cumulativamente tutte le tecniche di promozione adottate Alternativa: dimensione Promozione normalizzata con una riga per ogni tipologia di promozione si stabilisce una relazione molti a molti tra il fatto e la dimensione Vantaggi facile aggiungere nuovi tipi di promozione Svantaggi difficile eseguire analisi sull effetto globale di una promozione in SQL occorre realizzare l interrogazione mediante una o più subquery La soluzione non normalizzata è preferibile ATA WAREHOUSE: CASI I STUIO - 19 Analisi invenduto atabase and data mining group, Quali prodotti, pur essendo stati promossi, non sono stati venduti? con lo schema attuale non è possibile rispondere a questa domanda non è stata modellata la relazione tra un prodotto e la sua promozione (è rappresentata dalla vendita) Occorre un nuovo fact schema che modelli la presenza di promozioni non ha misure poiché rappresenta solo l evento è in promozione ATA WAREHOUSE: CASI I STUIO - 20 Pag. 10

11 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio Coverage fact schema dimensione confezione tipo confezione peso prodotto tipo categoria marca dieta reparto responsabile atabase and data mining group, distretto vendita area vendita PROMOZIONE EFF. negozio CAP città provincia regione stato promozione data inizio data fine giornale tipo giornale TV demo indirizzo telefono ATA WAREHOUSE: CASI I STUIO - 21 Analisi dei dati atabase and data mining group, Lo schema progettato supporta molte tipologie di indagini Alcune analisi possibili selezione dei prodotti da promuovere uso del numero_scontrini per valutare i prodotti popolari ranking dei prodotti venduti in più scontrini (e.g., top ten) misura non additiva sulla dimensione prodotto se è necessario aggregare, occorre memorizzare viste materializzate precalcolate in alternativa si possono valutare valori medi spezzatura degli stessi dati a livello di regione/area geografica selezione del momento in cui promuovere l analisi delle vendite totali per settimana permette di riconoscere i periodi in cui le vendite globali rallentano ATA WAREHOUSE: CASI I STUIO - 22 Pag. 11

12 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio Analisi dei dati atabase and data mining group, valutazione dell effetto della promozione confronto delle vendite per il prodotto promosso/non promosso confronto tra regioni dove è avvenuta la promozione e dove non è avvenuta effetto della promozione dello stesso prodotto con media diversi confronto delle vendite tra regioni dove la promozione è avvenuta con media diversi effetto generale sulle vendite di tutti i prodotti dello stesso tipo escludendo dal totale le vendite del prodotto promosso ATA WAREHOUSE: CASI I STUIO - 23 atabase and data mining group, Marketing in un azienda telefonica ATA WAREHOUSE: CASI I STUIO - 24 Pag. 12

13 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio Applicazione atabase and data mining group, Gestione marketing dell utenza residenziale di un azienda telefonica conoscenza discreta dei clienti ricevono la bolletta ogni mese più difficile conoscere a quali servizi sono interessati le informazioni sono disperse in numerose basi di dati gestione linee telefoniche altri servizi (ISN, web,...) pubblicità nelle guide del telefono gestione guasti esigenze simili per utenza residenziale e utenza affari ATA WAREHOUSE: CASI I STUIO - 25 atabase and data mining group, Aspetti fondamentali evidenziati Necessità di analizzare una combinazione di servizi forniti ad un cliente integrazione di dati provenienti da sistemi diversi possibile esigenza di modificare anche i sistemi OLTP per migliorare la raccolta di informazioni Intenzione di usare il data mart per studiare variazione nelle richieste di servizi nel tempo Esigenze molto simili per utenza residenziale e affari considerare per future espansioni la compatibilità della granularità e delle dimensioni ATA WAREHOUSE: CASI I STUIO - 26 Pag. 13

14 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio Obiettivi del progetto atabase and data mining group, Fornire un quadro composito di tutti i servizi forniti ad ogni cliente Facilitare l analisi cross-sell Tenere sotto controllo variazioni nelle richieste di servizi Seguire gli spostamenti (traslochi) di singoli clienti ATA WAREHOUSE: CASI I STUIO - 27 Fatti custom e core atabase and data mining group, La dimensione cliente può rappresentare privati utenza affari Per tener conto di entrambe le tipologie di clienti la dimensione cliente ha attributi diversi nei due casi i fatti sono descritti da misure diverse nei due casi È opportuno avere un fatto core caratterizzato dalle misure comuni a entrambe le tipologie due fatti custom, uno per tipologia, con le misure comuni quelle specifiche per la tipologia considerata due dimensioni custom, oltre alla dimensione core Si progetta per primo uno schema custom (privati) valutando la granularità appropriata per entrambi ATA WAREHOUSE: CASI I STUIO - 28 Pag. 14

15 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio Sorgenti informative I dati per il data mart saranno forniti da atabase and data mining group, due sistemi diversi di fatturazione delle bollette fatturazione ISP fatturazione consumo cellulari proveniente dall azienda controllante fatturazione servizi ISN ATA WAREHOUSE: CASI I STUIO - 29 Selezione granularità atabase and data mining group, Le sorgenti informative operano su ciclo mensile la granularità della dimensione tempo sarà mese Il data mart fornirà un istantanea mensile dei servizi per cliente imensioni mese cliente servizio status ATA WAREHOUSE: CASI I STUIO - 30 Pag. 15

16 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio atabase and data mining group, Fact schema per il marketing descrizione codice anno periodo e anno numero nome mese periodo fiscale mese e anno mese servizio ATTIVITà CLIENTE incasso numero_linee num_chiamate_urbane min_chiamate_urbane num_chiamate_interurb min_chiamate_interurb min_collegamento codice cliente numero telefono città provincia regione nome indirizzo CAP stato ATA WAREHOUSE: CASI I STUIO - 31 imensione Mese atabase and data mining group, Mese escrive la dimensione temporale stessa granularità delle bollette gerarchia temporale m_key nome_mese numero_mese periodo_fiscale anno mese_e_anno periodo_e_anno... ATA WAREHOUSE: CASI I STUIO - 32 Pag. 16

17 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio atabase and data mining group, imensione Cliente residenziale Cliente residenziale escrive i clienti dell azienda specificamente dedicata alle informazioni importanti per i clienti residenziali gerarchia geografica cardinalità tipicamente elevata c_key codice_cliente nome indirizzo città provincia CAP numero_telefono codice_fiscale ATA WAREHOUSE: CASI I STUIO - 33 imensione Servizio atabase and data mining group, Servizio escrive i servizi offerti dall azienda ogni elemento descrive un servizio (segreteria telefonica, chiamata in attesa, ISN,...) s_key codice_servizio descr_servizio ATA WAREHOUSE: CASI I STUIO - 34 Pag. 17

18 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio atabase and data mining group, Tabella dei fatti Attività cliente Attività cliente escrive gli eventi di interesse una riga per ogni servizio fatturato a ogni utente per lo stesso mese, un utente può avere più righe nella tabella dei fatti le misure devono essere note al livello di dettaglio della granularità scelta m_key c_key se_key incasso numero_linee numero_chiamate_urbane minuti_chiamate_urbane numero_chiamate_interurbane minuti_chiamate_interurbane minuti_collegamento ATA WAREHOUSE: CASI I STUIO - 35 atabase and data mining group, Analisi critica del progetto La dimensione servizio è normalizzata contiene una riga per ogni servizio erogato la tabella dei fatti contiene una riga per ogni servizio fatturato ad ogni cliente difficile eseguire analisi cross-sell Per alcuni servizi, non sono definite alcune misure previste nella tabella dei fatti Esempio: numero_di_linee per servizio Internet Alcuni servizi sono venduti insieme difficile scorporare i dati di costo e separarli per i diversi servizi ATA WAREHOUSE: CASI I STUIO - 36 Pag. 18

19 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio atabase and data mining group, Esempio di analisi cross-sell Quali utenti hanno ISN, ma non servizio Internet? in SQL occorre realizzare l interrogazione mediante una subquery utenti che non hanno servizio Internet con NOT IN correlazione sullo stesso periodo di tempo complesso scrivere l interrogazione inefficiente eseguire l interrogazione ATA WAREHOUSE: CASI I STUIO - 37 Fact schema alternativo atabase and data mining group, anno periodo e anno numero nome mese periodo fiscale mese e anno ISN chiamata in attesa segreteria mese servizio Internet ATTIVITà CLIENTE cellulare incasso numero_linee num_chiamate_urbane min_chiamate_urbane num_chiamate_interurb min_chiamate_interurb min_collegamento codice cliente numero telefono città provincia regione nome indirizzo CAP stato ATA WAREHOUSE: CASI I STUIO - 38 Pag. 19

20 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio atabase and data mining group, Analisi critica dell alternativa Riduzione della granularità della tabella dei fatti ogni utente ha una riga al mese i servizi diversi di ogni cliente sono rappresentati mediante una serie di La dimensione servizio non è più normalizzata le interrogazioni per analisi cros-sell non richiedono più l uso di subquery non è più necessario separare pacchetti di servizi le misure della tabella dei fatti sono associate all insieme completo di servizi ATA WAREHOUSE: CASI I STUIO - 39 atabase and data mining group, imensione Servizio (alternativa) Servizio escrive i servizi offerti dall azienda ogni elemento descrive un pacchetto di servizi ogni attributo è booleano (S/N) e indica se il servizio è offerto potenzialmente tutte le combinazioni sono possibili la cardinalità è elevata se_key _chiamata_in_attesa _identificazione_chiamante _segreteria _cellulare _internet _ISN ATA WAREHOUSE: CASI I STUIO - 40 Pag. 20

21 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio Osservazioni atabase and data mining group, È necessario poter seguire il cliente che trasloca numero di telefono o indirizzo nella dimensione cliente non sono adatti per riconoscere lo stesso cliente si usa il codice cliente assegnato dall azienda oppure il codice fiscale è necessario riconoscere il momento temporale in cui avviene la transizione (il trasloco) nuova dimensione status (del cliente) che consenta di indicare varie tipologie di stato esempi: nuovo cliente, nuova residenza ATA WAREHOUSE: CASI I STUIO - 41 atabase and data mining group, Fact schema con stato cliente anno periodo e anno numero nome mese periodo fiscale mese e anno ISN chiamata in attesa segreteria mese servizio Internet ATTIVITà CLIENTE cellulare incasso numero_linee num_chiamate_urbane min_chiamate_urbane num_chiamate_interurb min_chiamate_interurb min_collegamento codice cliente numero telefono città provincia regione nome indirizzo CAP stato status nuovo cliente nuova residenza ATA WAREHOUSE: CASI I STUIO - 42 Pag. 21

22 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio imensione Status atabase and data mining group, Status escrive lo stato attuale dei clienti gli attributi sono booleani (S/N) non è storicizzata st_key nuovo_cliente nuova_residenza ATA WAREHOUSE: CASI I STUIO - 43 Variazioni nelle richieste di servizio ATA WAREHOUSE: CASI I STUIO - 44 atabase and data mining group, La dimensione Status rappresenta la situazione attuale di ogni cliente può essere utilizzata per tener traccia delle variazioni di richieste di servizi Per ogni tipo di servizio, si aggiunge una nuova colonna per rappresentare richiesta attivazione disattivazione La dimensione Status non è normalizzata possibile identificare facilmente le nuove richieste di servizi e gli abbandoni Pag. 22

23 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio anno periodo e anno Fact schema finale numero nome mese periodo fiscale mese e anno ISN chiamata in attesa segreteria mese servizio Internet ATTIVITà CLIENTE cellulare incasso numero_linee num_chiamate_urbane min_chiamate_urbane num_chiamate_interurb min_chiamate_interurb min_collegamento codice cliente atabase and data mining group, numero telefono città provincia regione stato nome indirizzo CAP status nuovo cliente nuova residenza status Internet status ISN status chiamata in attesa status cellulare ATA WAREHOUSE: CASI I STUIO - 45 imensione Status atabase and data mining group, Status escrive lo stato attuale dei clienti gli attributi status possono assumere i valori attivato immutato disattivato st_key nuovo_cliente nuova_residenza status_chiamata_in_attesa status_identificazione_chiamante status_voice_mail status_cellulare status_internet status_isn ATA WAREHOUSE: CASI I STUIO - 46 Pag. 23

24 atabase and ata Mining Group of atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio atabase and data mining group, Tabella dei fatti Attività cliente Attività cliente m_key c_key se_key st_key incasso numero_linee numero_chiamate_urbane minuti_chiamate_urbane numero_chiamate_interurbane minuti_chiamate_interurbane minuti_collegamento ATA WAREHOUSE: CASI I STUIO - 47 Analisi dei dati atabase and data mining group, Lo schema progettato supporta molte tipologie di indagini Alcune analisi possibili analisi per cross-selling analisi della tendenza di crescita/decrescita del numero di clienti con numero alto di servizi semplificata dalla denormalizzazione della dimensione Servizio il numero di clienti è un count per servizi correlati (per esempio, ISN e accesso Internet), analisi del numero di clienti che ne hanno uno solo o entrambi offerta di nuovi servizi per gli utenti che traslocano semplificata dal indicatore di nuova residenza nella dimensione Status ATA WAREHOUSE: CASI I STUIO - 48 Pag. 24

25 atabase and ata Mining Group of atabase and ata Mining Group of B MGata warehouse: casi di studio data mining Analisi dei dati atabase and data mining group, cross-selling: ricerca delle correlazioni più frequenti (tra servizi) itemsets, regole di associazione riconoscimento della propensione all abbandono (customer attrition o customer churn) classificazione utile una dimensione cliente molto ricca il monitoraggio dettagliato del consumo permette la profilazione dei clienti segmentazione dei clienti clustering ATA WAREHOUSE: CASI I STUIO - 49 Pag. 25