Customer Relationship management & Data Mining

Transcript

1 Customer Relationship management & Data Mining Dino Pedreschi, Fosca Giannotti, Mirco Nanni Pisa KDD Lab, ISTI-CNR & Univ. Pisa Master MAINS 2015

2 Outline Basic elements of CRM CaseStudy1- Redemption A real case study: Coop DW (10) Churn Analysis (30) Estimating promotion sales (40) Forecasting out-of-stock during sales (10) Customer profiling(30) Collective profiles Individual profiles Discovering Innovators (20)

3 Customer Relationship Management CRM is about acquiring and retaining customers Customer acquisition (often via targeted marketing) Customer retention (minimizing churn) Cross-sell and up-sell (extending the relationship) Customer win-back (recovering customer lost to competitors) Customer support (increasing customer satisfaction) Maximizing lifetime value (repeat purchase, subscription services).

4 CRM as a Business Strategy CRM is not just technology, but a strategy, process, and business goal that an organization must embrace on an enterprisewide level CRM can enable an organization to: Identify types of customers Design individual customer marketing campaigns Treat each customer as an individual: olistic view Understand customer buying behaviors

5 Business Benefits of CRM Organizations can find their most valuable customers through RFM - Recency, Frequency, and Monetary value How recently a customer purchased items (Recency) How frequently a customer purchased items (Frequency) How much a customer spends on each purchase (Monetary Value)

6 CRM FUNDAMENTALS CRM overview

7 Role of CRM analytics Trasform the raw data from each of the operational systems and contact point into a set of customerspecific beahavior patterns, tailored for the specific business goal at hand

8 Evolution of CRM CRM enables an organization to: Provide better customer service Make call centers more efficient Cross sell products more effectively Help sales staff close deals faster Simplify marketing and sales processes Discover new customers Increase customer revenues

9 Evolution of CRM CRM reporting technology help organizations identify their customers across other applications CRM analysis technologies help organization segment their customers into categories such as best and worst customers CRM predicting technologies help organizations make predictions regarding customer behavior such as which customers are at risk of leaving

10 Evolution of CRM Three phases in the evolution of CRM include reporting, analyzing, and predicting

11 Evolution of CRM

12 Operational and Analytical CRM Operational CRM supports traditional transactional processing for day-to-day frontoffice operations or systems that deal directly with the customers Analytical CRM supports back-office operations and strategic analysis and includes all systems that do not deal directly with the customers

13 Operational and Analytical CRM

14 USING IT TO DRIVE OPERATIONAL CRM

15 Marketing and Operational CRM Three marketing operational CRM technologies: 1. List generator compiles customer information from a variety of sources and segment the information for different marketing campaigns 2. Campaign management system guides users through marketing campaigns 3. Cross-selling and up-selling n n Cross-selling selling additional products or services Up-selling increasing the value of the sale

16 Sales and Operational CRM The sales department was the first to begin developing CRM systems with sales force automation a system that automatically tracks all of the steps in the sales process

17 OPERATIONAL, TACTICAL, AND STRATEGIC BI Claudia Imhoff, president of Intelligent Solutions, divides the Spectrum of data mining analysis and business intelligence into three categories: Operational Tactical Strategic

18 OPERATIONAL, TACTICAL, AND STRATEGIC BI

19 OPERATIONAL, TACTICAL, AND STRATEGIC BI

20 PROMORANK: INTELLIGENT TARGET MARKETING (OPTIMIZATION OF MAIL ADVERTISING CHAMPAIGNS) KDD LAB

21 Campagna pubblicitaria postalizzata Decion process steps Invent the champaign Select the target Contact the target Deliver the awards keep trace of redempts) Measure the success (evaluating the champaign) The actors Ufficio Marketing, Ufficio IT/DW, Postalizzatore, Ufficio IT/ DW, Ufficio Marketing

22 Inventare la campagna scheda TARGET brief Def. categorie clienti Marketing IT - DW statistiche sulle Categorie clienti

23 Selezionare i clienti (da postalizzare) Marketing TARGET IT - DW Def. dettagli promo promozione Postalizzazione Estrazione Categorie Clienti

24 Consegnare i premi e tenere traccia Marketing sviluppo promozione Def. dettagli promo Sistema automatico aggiornamento DATA Mart Sistema automatico attivazione mercati DATA MART PROMOZIONI Mercati

25 Analizzare i risultati Marketing analisi DATA MART PROMOZIONI analisi redemption

26 DOMANDA? DOVE POSSIAMO MIGLIORARE?

27 Dove possiamo migliorare? OTTIMIZZARE I CLIENTI DA POSTALIZZARE Se stimassimo la probabilità di redemption potremmo postare solo quelli a probabilità più alta!!! Problema Come stimare la probabilità di redemption? Quale sottoinsieme della popolazione scegliamo?

28 Ranking dei clienti Costruiamo un modello previsionale a partire dallo storico delle precedenti campagna promozionali. Ordianiamo i clienti secondo la probabilità fornita dal modello predittivo (della classe di maggioranza).

29 Selezione dei clienti da postalizzare Una volta ottenuto il ranking, occorre un criterio per scegliere: La porzione di clienti da postalizzare per raggiungere un rapporto ottimale fra n costo di postalizzazione e n raggiungimento di clienti ad alta probabilità di redemption La modulazione di postalizzazione fra le varie categorie di clienti definite per la promo n costanti, saltuari, inattivi,

30 Come ci si inserisce nel processo decisionale delle promozioni Nella preparazione della definizione della Promozione Per ogni gruppo di clienti della promozione è disponibile un meccanismo per l analisi di previsione della redemption e di ottimizzazione della postalizzazione Meccanismo di base: LIFT CHART

31 Lift Chart % clienti rispondenti % clienti postalizzati Ranking Random

32 LIFT CHART Asse X: percentuali di clienti postalizzati (rispetto al totale del gruppo) Asse Y: percentuale dei clienti rispondenti che sono raggiunti dalla postalizzazione Linea BLU: andamento di Y in funzione di X, rispetto ad una scelta casuale dei clienti Linea ROSSA: andamento di Y in funzione di X, rispetto al ranking dei clienti col modello di data mining

33 Postalizzando il primo 50% dei clienti secondo il ranking si stima di raggiungere l 80% dei clienti che redimeranno. Lift Chart % clienti rispondenti % clienti postalizzati 100 Ranking Random

34 Con la metà dei costi di postalizzazione si stima di raggiungere l 80% dei clienti che redimeranno. Lift Chart % clienti rispondenti Ranking Random % clienti postalizzati

35 Leggere il Lift Chart (1) Il Lift Chart rappresenta un aiuto grafico per ragionare sul rapporto ottimale fra costi di postalizzazione e percentuale di redemption a fronte di sostanziali riduzioni di postalizzati (=budget) permette di ridurre di poco il numero di redenti a parità di budget, permette di incrementare il numero di promozioni oppure di allargare la numerosità delle classi di clienti.

36 Leggere il Lift Chart (2) A partire dal Lift Chart è possibile costruire modelli economici della postalizzazione. A titolo di esempio: C = costo unitario di postalizzazione, es. 2,30 B = beneficio unitario di redenzione, es. 6,00 N = numero postalizzabili, es T = numero rispondenti postalizzando tutti (stima sulla base dello storico di promozioni simili), es (pari al 35% di ) Profitto = Beneficio Costo n Postalizzando una percentuale P n Beneficio = B x T x Lift(P) / 100 n Costo = C x N x P / 100

37 Postalizzando il primo 40% dei clienti secondo il ranking si stima di massimizzare il beneficio C=2,30 B=6,00 N= T= Lift Chart Profitto Ranking Random % clienti postalizzati

38 Le nuove funzionalità per l ufficio marketing Nuova funzionalità per il decisore: accedere al meccanismo di analisi previsionale mediante lift-chart separato per ogni gruppo di clienti modulare la scelta del sottoinsieme di clienti da postalizzare in base: n Al ragionamento sul lift-chart, combinato con n L obiettivo di dirigere la promozione in modo preferenziale verso determinati gruppi di clienti (fedeli vs. occasionali, etc.) verificare le conseguenze delle scelte di postalizzazione operate in termini complessivi (copertura, risparmio, etc.), ed eventualmente modificarle

39 Ma dov è il data mining?!? Risposta: dietro le quinte! Il ranking dei clienti rispetto alla probabilità di redemption è il risultato dello sviluppo di una serie di modelli predittivi che classificano i clienti come rispondenti o meno in base allo storico delle promozioni desumibile dal venduto nel datamart dei Fidelizzati

40 Dietro le quinte Il lift-chart della scheda promo e gli elenchi dei clienti da postalizzare sono calcolati, ad ogni richiesta dell utente marketing/sviluppo, a cura dell ufficio a marketing partire dai modelli predittivi che risiedono sul server (di progetto o di DW) I modelli predittivi sono riaggiornati periodicamente, ad ogni richiesta dell utente IT-DW, sulla base dei dati derivati dal contenuto attuale del DW, mediante a cura dell ufficio IT/DW tecniche di data mining On-line Off-line

41 La Grande Distribuzione

42 Qualche numero 115 Negozi in 4 regioni (Toscana, Lazio, Umbria e Campania) 3 Canali (+ e-commerce) 1 canale franchising Fatturato di c M (alimentari e non) Quarta Cooperativa in fatturato tra le «nove grandi» (Prima Unicoop Firenze con c M ) Totale fatturato 9 Grandi Cooperative: M (market share c.16,5%)

43 Qualche numero del DW Oltre 7 anni di venduto (dal 1/1/2007 fino ad Aprile 2014) ~1 M di clienti attivi e riconoscibili 138 negozi (Toscana, Umbria, Lazio, Campania) ~450K diversi tipi di prodotti ~280M di scontrini ~280G di scansioni

44 La distribuzione dei clienti e dei negozi

45 TOP BUSINESS CHALLENGES 45 Le domande più importanti relative al Pricing Quali sono le categorie/articoli è meglio investire? Qual è il posizionamento più corretto rispetto alla concorrenza (i.e.: qual è l investimento minimo necessario?) Quali e quante price zones? Quante variazioni di prezzo è necessario gestire a PV per sostenere una strategia di prezzo «raffinata»? Sono numeriche sostenibili per i nostri PV? Ci sono risorse o no nel pricing?

46 PRICE STRUCTURE 46

47 Tecnologia per BI other sources Operational DBs Metadata Extract Transform Load Refresh Monitor & Integrator Data Warehouse OLAP Server Serve Analysis Query Reports Data mining Data Marts Data Sources Data Storage OLAP Engine Front-End Tools

48 Schema dei fatti e delle dimensioni del Data Warehouse versione semplificata settore periodo mese anno giorno settimana anno trimestre reparto promozioni canale data mese categoria sottocateg prodotto scontrino ora Fascia oraria segmento salvatempo clienti soci sesso Codice marketing forme pagamento negozio anno regione provincia CAP località indirizzo decade regione provincia città CAP

49 Il Data Warehouse (1)

50 Il Data Warehouse (2)

51 Il Data Warehouse (3)

52 La gerarchia Marketing Macrosettore Area 3 valori Macrosettore 4 valori Settore 13 valori Reparto 76 valori Categoria 529 valori Sottocategoria 2665 valori Segmento 7656 valori Articolo valori Settore Reparto Categoria Categoria/ Subcategoria Segmento

53 La gerarchia Marketing - Esempi Esempio: coche decaffeinate I primi 3 livelli Area Macrose*ore Se*ore Freschi Freschi Alimentari Freschissimi Generi vari Grocery Alimentari Confezionato per vendita Altro Altro Erogazione carburan< Inizia<ve speciali Non definito Casa Chimica Non alimentari No Food Mul<media Persona Salute Stagionali e Brico Area MacroseDore SeDore Reparto Categoria SoDocategoria Segmento Alimentari Generi vari Grocery alimentari Liquidi Bibite Cole Decaffeinata COCA- COLA SENZA CAFFEINA LATTINA ML.330X6 COCA COLA SENZA CAFFEINA BOTTIGLIA PET ML.500 COCA COLA SENZA CAFFEINA LATTINA ML.330 COCA COLA SENZA CAFFEINA PET LT.1,5 COCA- COLA SENZA CAFFEINA LATTINA ML.330 COCA COLA SENZA CAFFEINA PET ML.500X4 COCA COLA SENZA CAFFEINA LATTINA ML.330 X6 COCA COLA SENZA CAFFEINA PET LT. 1,5 + ML. 250 OMAGGIO BIBITA COCA COLA SENZA CAFFEINA CLUSTER LT.1,5 X 6 COLA SENZA CAFFEINA COOP NO COLOR. NUOVA RICETTA BOTTIGLIA PET LT 1,5 COLA SENZA CAFFEINA COOP PET. LT. 1,5 COLA SENZA CAFFEINA HAPPYHAND PET LT 1,5 COLA SENZA CAFFEINA PERLA PET 1,5 L BIBITA PEPSI BOOM JUNIOR PET ML.330X4 BIBITA PEPSI BOOM PET LT.1,5 PEPSI BOOM PET LT.2 BIBITA PEPSI BOOM LATTINA ML. 330

54 Mirco Nanni KDD Lab,ISTI-CNR, Pisa DM 2013, 11 marzo 2013 Churn analysis Introduction

55 Challenge: FAST identification n n n n Churn defezione - abbandono In alcuni casi, nel momento in cui la defezione si manifesta, è troppo tardi per intervenire n n non è più possibile recuperare il defezionante, o non è più conveniente recuperarlo Fondamentale identificare il defezionante immediatamente, o addirittura in anticipo Nuova formulazione del problema: n Churn Analysis = Previsione dell'abbandono

56 Interruzione del rapporto: modalità n n Interruzione esplicita n Tipica dei rapporti che richiedono un contratto o impegni da parte del fruitore n Es.: Telefonia, nei casi in cui è previsto un canone n Es.: Tesseramenti rinnovabili non gratuiti Interruzione implicita n Tipica dei rapporti non formalizzati o privi di costi per il fruitore n Es.: Tessere sconto e carte fedeltà

57 Interruzione implicita n n E' la situazione più comune nel settore delle vendite al dettaglio n n Carte fedeltà che non richiedono rinnovi né costi Il defezionante semplicemente non la usa più Domanda: è sempre facile capire quando il cliente/fruitore ha abbandonato? n n n n Non fa acquisti per un mese? Non fa acquisti per un anno? Visita il punto vendita meno di 2 volte al mese? Spende meno del 50% di quanto faceva 3 mesi fa?

58 Abbandono soft n n Nozione alternativa di abbandono: n n Passaggio da un tipo di rapporto ad uno diverso Caso estremo: da fedele a abbandono totale Situazione naturale nella vendita al dettaglio n n Il segmento fedele fornisce (parziali) garanzie su un indotto minimo dell'attività Il degrado del cliente fedele a cliente saltuario ha effettivi negativi sulla gestione aziendale n Valgono le stesse motivazioni dell'abbandono hard

59 Previsione dell'abbandono n Il tracciamento del cliente ci consente di ricostruire la sua storia per un certo periodo Periodo monitorato (dati nel DW) oggi tempo n La nozione di abbandono adottata sarà valutata su un segmento recente di tale storia Valutazione stato di abbandono oggi tempo

60 Previsione dell'abbandono n Obiettivo: previsione dello stato di abbandono futuro, conoscendo la storia recente del cliente Periodo monitorato (dati nel DW) oggi +1 mese n La storia recente fornisce indizi sul comportamento che il cliente si presta a tenere n alcuni indizi permettono di discriminare i futuri defezionanti, altri no tempo n alcuni indizi sono espliciti nei dati a disposizione, altri vanno derivati da essi

61 Previsione dell'abbandono Previsione dell'abbandono n Come determinare oggi le correlazioni tra situazione attuale e stato futuro? n n Cerchiamo queste correlazioni nel passato Le relazioni passato oggi verranno sfruttate per predire il futuro dall'oggi Periodo monitorato (dati nel DW) oggi +1 mese tempo +1 mese oggi passato

62 Schema dell'applicazione n n n Definizione/estrazione delle variabili di lavoro n n Variabili predittive: gli indizi disponibili oggi/passato Variabile target: lo stato di abbandono futuro/oggi Estrazione del modello predittivo n Ricerca di correlazioni tra variabili predittive e variabile target, da sfruttare in fase di predizione Applicazione del modello predittivo n Le relazioni variabile predittiva target vengono applicate alla situazione odierna (in termini di variabili predittive) per stimare la var. target

63 Periodo monitorato (dati nel DW) oggi +1 mese tempo BICOOP Churn Analisys Definizione del concetto di abbandono e creazione di modelli previsionali

64 Problem Definition: Estimate the probability of churn on the base of DW evidences: Detailed buying records Demographic data Churn risk definition For a client the churn risk appears when a dramatic decrease of her/his expenditure measures: Number of visits Total amount of expenditure value Number of items bought

65 Analisi previsionale Raccolta dei dati storici per l estrazione di: ( verde Variabili di vendita e anagrafiche, i predittori (periodo ( rosso Variabili obiettivo (periodo Costruzione di un modello predittivo Addestrato in modo opportuno su dati storici Utilizzabile per ottenere informazioni previsionali oggi 9 mesi 3 mesi storico previsione Tempo

66 Data preparation

67 Preparazione dati target ( rosso (periodo Si sono estratte dal data warehouse, per il periodo di 3 mesi (Settembre 2007 Novembre 2007) le seguenti informazioni: Numero di spese Variazione di spesa rispetto al periodo verde Volume di spesa Battute di cassa Numero di visite

68 Dataset Il dataset così ottenuto presenta una riga per ogni cliente che ha effettuato almeno una spesa nei nove mesi di osservazione. In tutto abbiamo ottenuto: righe 47 attibuti

69 Data Exploration Distribuzione trend di spesa Trend dei clienti con spesa totale > 400

70

71 F. Obiettivo Thresholds Scelta una soglia di allarme per indicare un possibile cliente defezionario i rapporti si trasformano in tre indicatori di abbandono Abbiamo scelto come soglia una diminuzione sulle 3 misure del 50% Otteniamo le seguenti distribuzioni: F (Basso rischio Abbandono), V (Alto rischio Abbandoni) OB1: RAPP_SPESE OB2: RAPP_SPESA OB3: RAPP_BATTUTE

72 F. Obiettivo Sintesi Per la funzione obiettivo finale si è deciso di considerare come potenziali defezionari tutti i clienti che superato la soglia di allarme, in ognuno dei tre indicatori OB1, OB2, OB3: OB_AND: OB1 and OB2 and OB3

73 Modello previsionale e Risultati Distribuzione spesa totale vs. spesa pesata

74 Modello previsionale e Esempio di regole associative: Risultati se REGIONE = TOSCANA e NUM_SPESE <= 128 e TIPOLOGIA_01 = 7 e TIPOLOGIA_09 = 0 e TIPOLOGIA_ZERI > 2 e REGR_BATTUTE <= -0,98 ( 82,8% allora V (confidenza se DATA_ULTIMA_SPESA > 183 e NUM_SPESE <= 21 e TIPOLOGIA_ZERI > 1 e REGR_NUM_SPESE <= -0,02 e REGR_BATTUTE <= -0,98 ( 92% allora V (confidenza

75 Modello previsionale Risultati Globali Correttezza generale del modello: ( righe 81.06% sul training set (70% del dataset, ( righe 80.94% sul test set (30% del dataset, Matrici di confusione: Valori Predetti Valori Reali 66.9% Con un guadagno netto del 42.8%

76 Modello previsionale Risultati Globali Lift chart

77 Scenario d uso Esempio Creare un ambiente aperto e dinamico nel quale i dati forniti dal data warehouse vengono elaborati e trasformati in modelli di tipo previsionale. I modelli previsionali possono essere usati per arricchire il data warehouse, innestando un circolo virtuoso di informazioni utilizzabili anche direttamente in ambienti di Business Intelligence.

78 Conclusioni Per concludere: Sono stati utilizzati dati provenienti dal data warehouse, risparmiando tempo e ottenendo dati di buona qualità Abbiamo usato tecniche di mining avanzate per generare modelli predittivi, principalmente regole associative e alberi di decisione. I risultati ottenuti sono soddisfacenti e si intravedono buone prospettive di miglioramento Possibili sviluppi futuri Sperimentazione di altri tipi di analisi: sub group analysis, market segmentation, clustering ect. Consolidamento e validazione dei risultati ottenuti Incrementare la collaborazione con gli esperti del dominio per una migliore taratura del problema, delle definizioni usate e delle funzioni obiettivo Integrazione dei dati previsionali forniti dai modelli predittivi all interno della struttura di business intelligence aziendale

79 Analisi della defezione nella grande distribuzione tramite indicatori geografici e socio demografici/1

80 Analisi della defezione nella grande distribuzione tramite indicatori geografici e socio demografici/2

81 Analisi Spazio-Temporale della defezione nella grande distribuzione / Eventi individuali e fenomeni collettivi nella grande distribuzione. Analisi spazio-temporale dei dati di vendita l l l Varie tipologie di eventi individuali Abbandono Fidelizzazione ad un prodotto Ecc. Analisi spaziale e temporale alla ricerca di grandi gruppi di eventi co-localizzati e contemporanei Metodi: Clustering density-based SatScan (metodo statistico usato in epidemiologia)

82 Analisi Spazio-Temporale della defezione nella grande distribuzione / Eventi individuali e fenomeni collettivi nella grande distribuzione. Analisi spazio-temporale dei dati di vendita

83 Data Mining on Promotional Sales Data Mining on Promotional Sales

84 Study the impact of promo on sales Goal: focusing on the effects of promotions on the sales of a single product, mainly aimed at optimizing its stoking: Forecasting sales of promoted products. Forecasting out-of-stock Case study on product category = Food, Two months April 2006 & April 2007.

85 Sales volume distribution of promotions with al least 5 items sold 11.% of the promotions in a single store sold between 5 and 24 items (the leftmost bar in the figure), the 13.79% sold between 25 and 49 items, The tale is less flat

86 Model building Predictors: Product details Promo details Volume of sales in the periods befors the promotion Target Variable: Number of sales for the promoted item Variation w.r.t the month before the promotion Previsione volume di vendita 3/9

87 Mining Table Field nme Vend_Art_3_1 Description Sales of the article from 3 months to 1 month before the promotion Vend_Seg_3_1 Sales of the segment from 3 months to 1 month before the promotion Vend_Art_1_0 Sales of the article in the last month before the promotion Vend_Seg_1_0 Sales of the segment in the last month before the promotion Giorni_Promozi one data sales of 16 months in 134 stores (522,541,764 records).

88 Target variables Case1- The sales amount of the promoted item and Case2- The sales variations of the promoted item and Case3 - The number of out of stock that occurred during the promotion. MINING TASK: MULTICLASS over ORDINAL CLASSES

89 Case1: Predicting volume sale Volume is continuous, range , 80% less than 500 item Discretize (how many classes) Multiclass predictor Equal size binning: 10 binwith => 965 bin (classes) 18% in first 3 classes 100 binwith => 249 bin (classes) 64% in first 3 classes Equal frequency binning 20 bins =>..refined

90 Distribution of sales volume discretized in 20 bins refined discretization

91 Results evaluation Accuracy 55,1% on the training set, which drops to 22,45% over test set

92 Class displacement distribution of predicted class vs. real class NOTE: it holds for ordinal classifiers

93

94 Rule 1: if more than 37 articles were sold in the last month before the promotion (vent_art_1_0 37) in the category sugar (categoria = zucchero e dolcificanti), Ø and the promotion was not advertised in the advertising leaflets, Ø the promoted item will sell the same or just a slightly higher amount than before the promotion (class = 2).

95 Case2: New Target Variable: Figure 7: Percentage variation of sales under promotion

96 Case2: Variation of sales Class Meaning 1 Drop of sales (sales variation -20/%) 2 Drop of sales (sales variation -20/%) 3 Small increase 1 ( variation between + 20% and +100%) 4 Small increase 2 ( variation between +100% and 200%) 5 Small increase 3 ( variation between +200% and 300%) 6 Large increase 1 ( variation between +300% and 500%) 7 Large increase 2 ( variation between +500% and 1000%) 8 Large increase 3 ( variation between +1000% and 1500%) 9 Extreme increase 1 ( variation between +1500% and 2500%) 10 Extreme increase 2 (variation 2500%)

97

98 Results evaluation Accuracy reaches the 49.99% on the training set and 32.67% on the test set

99 Class displacement distribution of predicted class vs. real class NOTE: it holds for ordinal classifiers

100 Evaluating ordinal (multiclass) classifier

101 Evaluating Ordinal Classifiers with distance matrix

102 Weights Vector-based approach

103

104

105 Coming back

106 Our target vaiable Class Meaning 1 Drop of sales (sales variation -20/%) 2 Drop of sales (sales variation -20/%) 3 Small increase 1 ( variation between + 20% and +100%) 4 Small increase 2 ( variation between +100% and 200%) 5 Small increase 3 ( variation between +200% and 300%) 6 Large increase 1 ( variation between +300% and 500%) 7 Large increase 2 ( variation between +500% and 1000%) 8 Large increase 3 ( variation between +1000% and 1500%) 9 Extreme increase 1 ( variation between +1500% and 2500%) 10 Extreme increase 2 (variation 2500%)

107 Analisi dei risultati previsionali Accuratezza del modello Distribuzione della distanza tra classe predetta e classe effettiva Distanza Nel 75% dei casi la predizione è corretta a meno di una distanza di 2 classi Previsione volume di vendita 6/9

108 Ipotesi di utilizzo Ipotesi: Si mette in promozione di un articolo il cui venduto nei 15 gg precedenti è pari a 30 pezzi; Supponiamo che il classificatore preveda classe 5 (venderà tra il 200% e il 300% in più). Risultati: Al 32% (circa 1/3) di possibilità il prodotto venderà tra 90 e 120 pezzi (predizione corretta), Al 60% il prodotto venderà tra 60 e 180 pezzi (scarto di una classe), Al 75% il prodotto venderà tra 36 e 330 pezzi (scarto di due classi). Previsione volume di vendita 7/9

109 Rottura di Stock Due differenti tipologie di rottura di stock: A livello di magazzino; nella quale il magazzino si trova in difetto di merci durante il periodo di promozione ed è quindi impossibilitato a rifornire i negozi. A livello di negozio; in cui il negozio rimane sprovvisto di merci nell arco di una singola giornata di promozione, a causa di probabili rifornimenti insufficienti. Previsione rottura di stock 1/8

110 CASE2: OUT OF STOCK

111 Two cases Out of stock in the warehouse We would need stocking data Out of shop the on a specific day of promotion

112 Capturing out-of stock in a day

113

114 Cond1: decrease of adjacent sales 90% Cond2: no further (no adjacent) increase Cond3: minimum number BEFORE the out-stock Cond4: if no number before reduce threshold 75%

115 Distribution of out of stocks in the Super stores

116 Analisi dati Super Distribuzione del numero di giorni in cui il prodotto in promozione va in rottura di stock Previsione rottura di stock 4/8

117 Target variable: out-stocks (3 value)

118 Target variable out-stocks (2 value)

119 Es. Rule if FL_VOLANTINO = Si and CATEGORIA = ALIMENTI INFANZIA and VEND_ART_3_1 > 142 and VEND_ART_1_0 > 96 then class = 1 support = 677 confidence= 65%

120 Rule 2 if MESE = 12 and CATEGORIA = GELATI then class = 0 supp= 379 conf= 95%

121 Accuracy Se considero sbagliati solo i falsi negativi l accuratezza del modello passa all 84,31% Previsione rottura di stock 6/8

122 Esempio Regola: Caffè Distribuzione binaria rottura di stock se PRES_MKT = LEADER e VendSeg_1_0 > 479 e CATEGORIA = CAFFE' allora 1 Previsione rottura di stock 7/8 Distribuzione binaria rottura di stock ristretto ai prodotti della categoria caffè Supporto: 1643 Confidenza 58,7%

123 Esempio Regola: Caffè se PRES_MKT = LEADER e VendSeg_1_0 > 479 e CATEGORIA = CAFFE' allora 1 Supporto: 718 Confidenza 67,93% se PRES_MKT = LEADER e VendSeg_1_0 > 479 e CATEGORIA = CAFFE' allora 1 Previsione rottura di stock 8/8 Supporto: 560 Confidenza 86%

124 Deployment I modelli predittivi consentono di arricchire i dati storici con dati previsionali Interfaccia uniforme verso l'utente finale

125

126

127

128 Conclusioni Buoni risultati da affiancare con report statistici e personale con esperienza nel settore Possibilità di raffinamento del modello venendo incontro ad esigenze più specifiche (singoli negozi, ( categorie singole Miglioramento della qualità dei dati nel datawarehouse Es. ruolo ed esposizione sono valorizzati con non disponibile nel 74% dei casi, ma non sono gli unici potrebbe portare ad un significativo aumento della qualità dei risultati

129 + + + Classification Mining Profile Profile Profile Profiling

130 Profiling Determine individual behavior What is normal for the individual What separates one individual from another Gives profile of individual behavior How do we do this?

131 profiles Cluster users Develop profiles for clusters E.g., differential profiling Old customers: Do they match profile for their cluster? Allows wider range of acceptable behavior New customer: Do they match any profile?

132 Has this been done? Intrusion Detection (Lane&Brodley) Profiled computer users based on command sequences Command Some (but not all) argument information Sequence information

133 Profiling Clustering and Associations " Group behavior using a clustering algorithm " Find groups of events using the association algorithms " Identify outliers and investigate

134 PROGETTO COOL PATTERNS ANALISI DELLE VENDITE NELLA GRANDE DISTRIBUZIONE Analisi dei Dati ed Estrazione di Conoscenza 2004/2005 Federico Colla

135 Evaluation Obj 1 Regole associative Articoli [ 10 BICCH.CART.BIBO CIRC.200CC ] à [ PIATTI CART.BIBO CIRCUS D23X10 ] Support: 0,01 Confidence: 92,5 Lift: 4237,263 [ TELO 100X GR/MQ TU ] [ OSPITE 40X GR/MQ TU ] à [ ASCIUGAMANO 60X GR TU ] Support: 0,01 Confidence: 91,4 Lift: 965,993 [ BOCC.CANI POLLO/TACCH.KG1.23 ] [ BOC/NI GATTO VITELLO SIM.KG415 ] à [ BOCC.GATTI CONIGLIO SIMBA G415 ] Support: 0,01 Confidence: 91,4 Lift: 390,042 [ PIATTO FRUTTA MAZIME B.CO CM21 ] [ PIATTO F.DO MAXIME B.CO CM.17 ] à [ PIATTO P.NO MAXIME B.CO CM.25 ] Support: 0,01 Confidence: 90 Lift: 3052,386 [ LENZUOLO PIANO 150X280 RIGHE ] [ LENZUOLO ANGOLI 90X200 TU] à [ FEDERA 50X80 STAMPA RIGHE ] Support: 0,01 Confidence: 87,8 Lift: 809,222

136 Evaluation Obj 1 Regole associative Articoli [ 10 BICCH.CART.BIBO CIRC.200CC ] à [ PIATTI CART.BIBO CIRCUS D23X10 ] Support: 0,01 Confidence: 92,5 Lift: 4237,263 [ TELO 100X GR/MQ TU ] [ OSPITE 40X GR/MQ TU ] à [ ASCIUGAMANO 60X GR TU ] Support: 0,01 Confidence: 91,4 Lift: 965,993 [ BOCC.CANI POLLO/TACCH.KG1.23 ] [ BOC/NI GATTO VITELLO SIM.KG415 ] à [ BOCC.GATTI CONIGLIO SIMBA G415 ] Support: 0,01 Confidence: 91,4 Lift: 390,042 [ PIATTO FRUTTA MAZIME B.CO CM21 ] [ PIATTO F.DO MAXIME B.CO CM.17 ] à [ PIATTO P.NO MAXIME B.CO CM.25 ] Support: 0,01 Confidence: 90 Lift: 3052,386 [ LENZUOLO PIANO 150X280 RIGHE ] [ LENZUOLO ANGOLI 90X200 TU] à [ FEDERA 50X80 STAMPA RIGHE ] Support: 0,01 Confidence: 87,8 Lift: 809,222