Data Mining nel Marketing:

Transcript

1 CRM & Profiling Data Mining nel Marketing: l'esperienza in una società di internet Trieste, 28 marzo 2001

2 Agenda 1. Lo scenario di mercato Actual Figures Basic concepts 2. Tin.it 3. Il Customer Base Management CRM Profiling e segmentazione La Statistica e il Data-mining per il Marketing sulla Customer Base 4. Alcuni casi: metodologia e pratica Il valore Il churn I surfers: profiling 2

3 1. Lo scenario di mercato 3

4 Actual Figures: collegamento a internet NOVEMBRE 2000 TOTALE UTENTI INTERNET TARGET ALLARGATO (casa, lavoro, scuola, biblioteca, amici, bar) CASA 3 MESI 13 21,7 7 GIORNI N. DI INDIVIDUI N. DI INDIVIDUI ,6 13, LAVORO 6, , SCUOLA , CORSI DI FORMAZIONE 0, , AMICI 6, , BIBLIOTECA 0, , BAR 0, , TOTALE UTENTI INTERNET TARGET PRIMARIO (casa, lavoro, scuola) 18, , POSSIEDONO PC IN CASA 33, Fonte : Eurisko PC DI CASA COLLEGATO AD INTERNET 19,

5 Actual Figures: l evoluzione POSSIEDONO PC IN CASA Utenti (in migliaia) UTENTI DI PC A CASA PC DI CASA COLL. AD INTERNET UTENTI INTERNET CASA (ult. 3 mesi) Nov.97 Giu.98 Nov.98 Giu.99 Nov.99 Giu.00 Nov.00 in migliaia di individui NOVEMBRE 1997 GIUGNO 1998 NOVEMBRE 1998 GIUGNO 1999 NOVEMBRE 1999 GIUGNO 2000 NOVEMBRE 2000 POSSIEDONO PC IN CASA UTENTI DI PC A CASA PC DI CASA COLLEGATO AD INTERNET UTENTI INTERNET CASA (ultimi 3 mesi) Fonte : Eurisko 5

6 Actual Figures: target potenziale AMBITI DI COLLEGAMENTO TOTALE CASA LAVORO SCUOLA TARGET POTENZIALE (A) (migliaia di individui) TARGET ATTUALE (B) (migliaia di individui) INDICE DI SATURAZIONE % ( A/B ) Fonte : Eurisko 6

7 Actual figures: penetrazione % 50 Penetrazione di internet in Italia (% del totale famiglie) totale on line broadband Fonte: Forrester Research, july

8 Actual figures: i provider AMBITI DI COLLEGAMENTO NOTORIETÀ TOTALE SPONTANEA CASA (n=676) LAVORO (n=391) SCUOLA (n=177) NOTORIETA TOTALE TIN.IT LIBERO TISCALI FREENET INFOSTRADA JUMPY CLUBNET WIND KATAWEB YAHOO! ON LINE ITALIA ON LINE (IOL) SUPEREVA CIAOWEB INFINITO INTERFREE TELECOM ITALIA NET (NET) INFOSTRADA (NET) DADANET (NET) Fonte : Eurisko 8

9 Actual figures: il contenuto Connotazione Siti Monotematici Target Portals V-ortals Siti Aziendali Portals Ampiezza 9

10 Actual Figures: I primi 10 portali tin.it clarence.com msn.it kataweb.it tiscali.it yahoo.it supereva.it msn.com virgilio.it iol.it tin.it yahoo.it altavista.com tiscalinet.it msn.it supereva.it yahoo.com kataw eb.it virgilio.it iol.it Fonte : AC Nielsen Fonte : One to One Research 10

11 Actual figures: Starting Page tin.it clarence.com msn.it kataweb.it tiscali.it yahoo.it supereva.it msn.com virgilio.it iol.it tin.it yahoo.it altavista.com tiscalinet.it msn.it supereva.it yahoo.com kataw eb.it virgilio.it iol.it Connotazione Siti Monotematici Target Portals V-ortals Siti Aziendali Portals Ampiezza. > 90 % 11

12 Actual figures: Service Usage Surfing Download/FTP Chat / VideoChat Newsgroup/Forum Invio SMS A/V Streaming Radio On Line Newsletters Instant Messaging Community VoIP Fonte : /FTP (mp3+sw) Ipsos - Explorer Active Adv / Eurisko 94 % 82 % 93 % 92 % 40 % 45 % 46 % 33 % 40 % 32 % 31 % 29 % 26 % 21 % 20 % 19 % 13 % 10 % 10 % 12

13 2. Tin.it it 13

14 Tin.it: lo scenario di riferimento Il primo ISP del mercato Internet Italia Il titolare della maggiore Customer Base di surfers Il più capillare gestore italiano di POP fisici 14

15 Tin.it: il modello di business Presidio capillare del territorio Portafoglio prodotti segmentato Modello evolutivo : ISP Portale Orizzontale Focalizzazione verso C.R.M. Linee di Revenues : Canone mensile / annuale Traffico Incoming (da T.I.) Impressions Commissioni da clicktrough & fee mensile 15

16 Tin.it: Consumer Strategy Collegare il business al consumer aggregando attraverso i diversi media una massa critica di utenti On line Strategy La mission è divenire il leader italiano nei servizi interattivi online, integrando accesso, comunicazione, navigazione, contenuti e commercio per aiutare gli utilizzatori a realizzare i benefici di un mondo connesso 16

17 Tin.it: la catena del valore - consumer Devices Access Aggrega- tion Content Advertising & Commerce Simple appliances Web on TV Set Top Box 17

18 Tin.it: offerta consumer 18

19 Tin.it: la catena del valore Portare le piccole/medie imprese e i professionisti online per aumentare sia la produttività che la competitività e per stimolarli alla interazione online con i clienti 19

20 Tin.it: la catena del valore - business Un offerta completa per aiutare i clienti a ottenere valore da Internet Access VAS Web Hosting Web Services Web Publishing ebusiness & ecommerce Advanced Messaging LAN Desktop productivity solutions WAP services 20

21 Tin.it: l offerta business Alta velocità Virtual Company Accesso Entry Level Sophisticated access Basic access Di Base LAN access E-commerce Web presence Servizi Integrated e-business Integrazione 21

22 Tin.it: posizionamento Internet Actor s Matrix Connotazione Siti Monotematici Target Portals V-ortals Ampiezza Siti Aziendali Portals neo users 22

23 Tin.it: posizionamento Area ISP / Prodotti Help / Ccare / Loyalty Area Personal Mail Area Themes Area News Area e-commerce Community / Messaging / Chat Advertising 23

24 Tin.it: posizionamento Area ISP / Prodotti Help / Ccare / Loyalty Area Personal Mail Area Themes Area News Area e-commerce Community / Messaging / Chat Advertising 24

25 Tin.it: posizionamento Area ISP / Prodotti Help / Ccare / Loyalty Area Personal Mail Area Themes Area News Area e-commerce Community / Messaging / Chat Advertising 26 % 26 % 3 % 9 % 12 % 5 % 9 % 9 % customer needs? 25

26 Tin.it: posizionamento Heavy Users community msg chat 9 % e-commerce 5 % Attivazione ISP / Prodotti 26% pers- 5 % news 12 % Fruizione help / CCare loyalty 26 % Aree tematiche 9 % advertising 12 % Dummies 26

27 Virgilio: posizionamento Area ISP / Prodotti Help / Ccare / Loyalty Area Personal Mail Area Themes Area News Area e-commerce Community / Messaging / Chat Advertising 27

28 Virgilio: posizionamento Area ISP / Prodotti Help / Ccare / Loyalty Area Personal Mail Area Themes Area News Area e-commerce Community / Messaging / Chat Advertising 28

29 Virgilio: posizionamento Area ISP / Prodotti Help / Ccare / Loyalty Area Personal Mail Area Themes Area News Area e-commerce Community / Messaging / Chat Advertising 3 % 33 % 1 % 44 % 10 % 0 % 1 % 8 % customer needs? 29

30 Virgilio: posizionamento Heavy Users community msg chat 1 % e-commerce 0 % Attivazione ISP / Prodotti 3% pers. 1 % news 10 % Fruizione help / CCare loyalty 33 % Aree tematiche 44 % advertising 8 % Dummies 30

31 Insieme: tin.it-virgilio Area ISP / Prodotti Tin.it - Virgilio 26 % 3 % Tin.it it - Virgilio Help / Ccare / Loyalty Area Personal Mail Area Themes Area News Area e-commerce Community / Messaging / Chat Advertising 26 % 3 % 9 % 12 % 5 % 9 % 9 % 33 % 1 % 44 % 10 % 0 % 1 % 8 % 31

32 3. Il customer base management 32

33 Tin.it Customer Base Customer Base Nuove Acquisizioni pay totale pay totale dic-99 feb-00 apr-00 giu-00 ago-00 ott-00 dic-00 pay totale dic-99 feb-00 apr-00 giu-00 ago-00 ott-00 dic-00 pay totale IL MANAGEMENT DELLA CUSTOMER BASE GUIDA LA NOSTRA STRATEGIA DI MARKETING 33

34 Customer base: Approccio strategico Un unico obiettivo: Aumentare il Customer Lifetime Value attraverso la riduzione del churn e l aumento dell ARPU attraverso PROFILING & SEGMENTATION Identificare i potenziali churners churners Massimizzare la soddisfazione dei clienti Focalizzarsi su target per cross e up sell Ridurre il churn Massimizzare il valore del cliente 34

35 Basic concept: Customer Relationship Management Identificare Realizzare Praticare tutte le attività necessarie a garantire il processo di attenzione e fidelizzazione dell individuo verso l azienda e la sua offerta di prodotti e servizi e, conseguentemente la massimizzazione delle opportunità di business attraverso la soddisfazione costante dei bisogni 35

36 Segmentazione per azioni di massa? 1. POCHE VARIABILI approccio Si/No approccio Behavioural Behavioural 2. AZIONI DI MASS Impatto sui Prodotti & Servizi Alto Volume Economie di Scala 3. UN OBIETTIVO ALLA VOLTA Sviluppo dei prodotti principali Crescita dei VAS / Offerte opzionali Aumento del valore della Customer Base Diminuzione del Churn 36

37 Profiling per servizi customized 1. MOLTE VARIABILI: Previsivo & Behavioural Behavioural Valore e Revenue attese Rischio di churn Utilizzo dei VAS Pattern d uso Scelta dell abbonamento giusto Chiamate al CC 2. AZIONI INDIRIZZATE AL CLIENTE Impatto su ogni singolo cliente/navigatore Alti costi Alta redemption redemption / Valore 3. MOLTI OBIETTIVI CONTEMPORANEAMENTE! Aumento della fedeltà (Loyalty( Loyalty) Azioni di push: Up Sell / Cross Sell Azioni di push: passaparola Raccolta di informazioni Dropped calls Insolvenze Reazione a campagne di mktg 37

38 Customer base: Segmentazione di base 0% VALORE DEL CLIENTE 100% COSTRUIRE FELDELTA DIFFERENZIAZIONE DEI SERVIZI INBOUND & OUTBOUND SCHEMA DI LOYALTY (Incentivi) BLOCCHI (Disincentivi alla fuga) AZIONI A BASSO COSTO/ NO PROMOZIONI NON COSTI AGGIUNTIVI PER LA GESTIONE DEL CLIENTE AZIONI DI MASSA MASSIMIZZARE IL VALORE OPERATORE CC PERSONALE NUOVI VAS MEMBER GETS MEMBER CURA & ATTENZIONE AUMETARE IL VALORE AZIONI DI UP / CROSS SELL INCENTIVARE L USO INCENTIVARE ATTIVAZIONE DI VAS 0% FEDELTA DEL CLIENTE 100% ALLA CONCORRENZA! 38

39 Basic Concept: Dimesione per fase FASE Barriera Tecnologica Curiosita Fruizione 1 Fruizione 2 Fruizione 3 Specializzazione e Propensione all acquisto on line e propensione all uso di servizi evoluti TEMPO 0 12 mesi mesi > 24 mesi Frequenza di utilizzo Corrispondenza dati Datamedia 09/ % 26 % 35 % Fonte :!!! Piu del 60% della popolazione non e ancora in fasi di fruizione evoluta dei servizi di rete!!! 39

40 Actual figures: Needs x segment Segment Needs Barriera Tecnologic a Curiosita Fruizion e 1 Fruizion e 2 Fruizione 3 Premium Access Free Access Directory services Search Engine Chat Video Chat NewsGroup / SMS push Audio / Video Streaming VoIP FTP 40

41 Market trends: Customer interest/needs FASE Barriera Tecnologica Curiosita Fruizione 1 Fruizione 2 Fruizione 3 Services Advertising Help / Ccare / Loyalty Directories Invio SMS Aree Tematiche Chat / Video Chat Personal Mail ISP Prodotti Area General News Specializzazione e Propensione all acquisto on line e propensione all uso di servizi evoluti 41

42 Market trends: customer interest/needs FASE Barriera Tecnologica Curiosita Fruizione 1 Fruizione 2 Fruizione 3 Services Audio Video Streaming Radio On Line Download (mp3+sw) Community Instant Messaging Newsletters Area e-commerce Mobile Channels Mobile Commerce Specializzazione e Propensione all acquisto on line e propensione all uso di servizi evoluti 42

43 Market trends: l evoluzione FASE Dimensione per Fase Barriera Tecnologica Curiosita Fruizione 1 Fruizione 2 Fruizione 3 Specializzazione e Propensione all acquisto on line e propensione all uso di servizi evoluti 2 o S % 26 % 35 % 1 o S % 35% 35 % 2 o S % 30% 50 % Fonte : 43

44 Basic concept: Profiling Identificare Classificare Acquisire Gestire tutte le informazioni che consentono la conoscenza e l analisi del proprio target di riferimento e, conseguentemente la realizzazione di prodotti e servizi ad elevata probabilità di soddisfazione dei suoi bisogni sources analysis mgmnt 44

45 3.bis Il customer base management Il data mining come strumento 45

46 Customer base: il DWH Informazini socio demografiche Informazioni sulla attivazione Dati sull uso & sulla rete Pattern di utilizzo (log files, cookies ) dati dal call center (calls, complains, billing problems) DATAWAREHOUSE Informazioni da ricerche di mercato (customer satisfaction,, U & A, ) 46

47 Customer base: data mining analisi statistica e data mining queries su liste di clienti Regressioni di base e moderne K - nearest neighbors alberi CART Reti neurali GAM, MARS 47

48 Profiling: i problemi Numero uno: costruire un DWH DWH è enorme! tieni conto degli obiettivi dell analisi Per esempio non concentrarti solo su da dove e come raccogliere le informazioni utilizza estrazioni di parti del DWH (datamart( datamart) diverse a seconda degli obiettivi Nel datamart per la previsione del churn,, è più utile tenere l informazione sugli errori di fatturazione rispetto ai dettagli sociodemografici Campioni di clienti possono essere molto utili 48

49 Profiling: i problemi Numero due: analisi e data mining Mantienilo semplice! Parti da un approccio di base e gradualmente spostati su soluzioni più sofisticate Non fidarti sulle soluzioni automatiche (black box) come: schiaccia il bottone e la rete farà tutto per te! 49

50 4. Alcuni casi: metodologia e pratica 50

51 4.1 Alcuni casi: metodologia e pratica Il valore 51

52 Il valore del cliente Obiettivi Individuazione dei clienti da trattare con maggior cura Individuazione di clienti su cui agire per aumentare la redditività Strumenti Determinazione di un indicatore del valore per tin.it di cascun cliente Definizione di poche classi di valore 52

53 Il valore: le classi Si determina per ogni cliente un indicatore di valore (ARPU) con caratteristiche di semplicità, intuitività e stabilità nel tempo Si determina la classifica dei clienti ordinata secondo il valore che essi portano a tin.it e si cerca un numero limitato di classi per i vari sottogruppi di clienti 25.1% 6.9% 20.7% 15.7% 30.8% 14.0% quota clienti quota valore totale 5.7% 5.47% % 14.5% 18.5% 13.1% 3.8% 81.4% 1.0% 0.7% 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 100% 80% 60% 40% 20% 0% Login per tipo di Abbonamento e classe a valore ADSL Clubnet Premium PWH Login premium, clubnet, ADSL e PWH per classe a valore Classe 1 Classe 2 Classe 3 Classe 4 Classe 5 Classe 6 Classe 7 Classi a valore Classe 7 Classe 6 Classe 5 Classe 4 Classe 3 Classe 2 Classe 1 PWH Premium Clubnet ADSL 53

54 4.2 Alcuni casi: metodologia e pratica Il churn 54

55 Customer Base: il churn Modellare la disattivazione: costruire, validare, interpretare un modello che descriva il comportamento degli utenti in termini di disattivazione in relazione ad altre variabili note Perché? Per descrivere il fenomeno Per prevedere i potenziali futuri disattivi Per predisporre azioni Per verificare l efficacia di operazioni di marketing/customer Operation 55

56 Cutomer base: churn Le fonti Aziendali: ( DWH, RADIUS, logs, Remedy, ) Per tutti i clienti Informazioni su traffico servizi opzionali comportamento del cliente reclami-rapporti con customer care azioni di marketing/customer care fatture/ricariche dati demografico/anagrafici Altre fonti: Ricerche di mercato Per un piccolo campione casuale di clienti Informazioni su comportamenti stili di vita motivi della disattivazione tempi della scelta ottenuti tramite interviste 56

57 Il churn: obiettivi Determinare un indicatore di propensione alla disattivazione per ogni login Prevedere i potenziali futuri disattivi Capire i motivi fondamentali che portano alla disattivazione e i comportamenti che la precedono Individuare possibili azioni volte alla retention del cliente Verificare l efficacia di operazioni di Marketing/Customer Operation 57

58 Il churn: obiettivi Chi è a rischio di disattivazione? Caratteristiche demografiche Usage di internet Comportamenti di traffico Contatti con tin.it Informazioni sul billing Copertura della rete dei pop Comportamento dei clienti sul churn Quando è maggiore il rischio di disattivazione? Promozioni della concorrenza Eventi della vita Perché sono a rischio di disattivazione? Offerte della concorrenza convenienza dei prezzi Prezzo dell Hardware Servizio al cliente Programmi a premi 58

59 Il churn: la previsione Intera Customer base Clienti ad alta propensione al churn Clienti che stanno disattivando Clienti già disattivati Costi nella previsione del churn Alti Medi Alti N/A Grado di successo dell azione preventiva del churn Basso Alto Medio N/A Stadio più efficiente Azioni di retention 59

60 Churn: Data mining Background Clubnet rappresenta l 80% della customer base Free Non si è fatto un pilot/case studie su questo tipo di clienti Non esiste un evento churn osservabile,, ma deducibile Passi principali Identificazione della popolazione Determinazione e reperimento delle variabili Definizione del target Stima del modello Verifica dell accuratezza Utilizzo del modello 60

61 Churn: Data mining Selezionare la popolazione Preparazione dati Prima di estrarre i dati da DWH è necessario definire in maniera precisa la popolazione da analizzare. Ad es. Le login utilizzate per costruire un modello di churn per i clienti pay sono dunque le login che hanno data di attivazione precedente il 1/12/2000 ed aventi data di disattivazione superiore al 31/1/2001 o ancora attive nel mese di Febbraio Per ciascuna di queste login sono stati estratti da DWH (input al sistema di data mining) i dati di Luglio 2000, Agosto 2000, Settembre 2000, Ottobre 2000, Novembre

62 Churn: data mining L oggetto della previsione La variabile target va definita con precisione in termini di status della login e date degli eventi considerati (disattivazione, attivazione, sospensione ) Esclusione variabili leaker Preparazione dati Alcune delle variabili presenti nei dati in ingresso sono strettamente correlate con l oggetto della previsione per diversi motivi. Le variabili che trasudano informazione sulla variabile target (leakers) devono venire identificate ed escluse dall insieme di dati a disposizione (ad es. data di Disattivazione, status della login, flag varii) 62

63 Churn: data mining Predisposizione data set Preparazione dati Divisione casuale circa a metà dell insieme dei dati a disposizione. Creazione dei dataset TOP (che verrà utilizzato per la stima) e BOTTOM (che verrà utilizzato per la validazione). Dal file TOP, selezione di tutte le login disattivate. Selezione casuale (senza senza ripetizione) di un insieme di login attive di numerosità circa uguale al numero di disattivi nel TOP. Unione di queste login alle disattive appena estratte dal file TOP. Divisione dei dataset ottenuto in due parti uguali selezionate casualmente, l una servirà per stimare il modello e l altra per selezionare il modello migliore. 63

64 Data mining: i modelli Regressione lineare/logistica Il modello più semplice (lineare) non è sufficiente a descrivere i dati bisogna ipotizzare modelli più complessi lasciarsi guidare dalle osservazioni per costruire le relazioni tra variabili e disattivazione MARS/ reti neurali Regressione projection pursuit/ GAM Alberi di regressione/ CART 64

65 Basic Concept: Data mining Insieme di tecniche statistiche per la stima di modelli non-lineari per grosse quantità di dati, ma caratterizzate da ridotta complessità computazionale. Tali tecniche vengono utilizzate secondo la guida dell analista che guida la scelta dei modelli e delle interpretazioni dei risultati in modo da evitare di cogliere relazioni spurie 65

66 Data mining: modelli polinomi bin medie mobili Smoothers monodimensionali rette mobili loess Kernel gaussiano Stimatori nonparametrici basati sulle serie o su regressioni (polinomiali, regressione di Fourier, splines di regressione, filtraggio) Stimatori nonparametrici kernel (Nadaraya-Watson, medie localmente pesate, regressione locale, loess) smoothing spline spline di regressione spline naturali Smoothing Splines (penalizzazione) Stimatori nonparametrici sui vicini più prossimi - Near neighbor (medie mobili, mediane, stimatori di Tukey) 66

67 Data mining: la valutazione dei modelli Il modello viene stimato per poter essere utilizzato per fare previsione: deve essere valido per qualsiasi altra situazione analoga. (PCR) Misure di accuratezza Matrice di confusione Lift 67

68 Data mining: la valutazione dei modelli Misure globali: gli errori Omissione: percentuale di login previste ad alto rischio sul totale delle login effettivamente disattivate (cioè quanti di quelli effettivamente disattivati erano nella classe più a rischio il mese prima). L errore di omissione viene indicato anche come falsi negativi Commissione: percentuale delle login disattivate sul totale delle login nella classe più a rischio (cioè quanti di quelli considerati a rischio sono stati effettivamente disattivati il mese successivo). L errore di commissione è indicato anche con il termine falsi positivi. Accuratezza 68

69 Data mining: la valutazione dei modelli Misure locali: il lift Accuratezza I record (le login) vengono ordinate per propensione al churn decrescente, in modo da avere gli elementi ritenuti più a rischio nella parte alta della lista. Si suddivide l insieme così ottenuto in quantili e si calcola quanti disattivati reali si trovano nel primo quantile. Il rapporto fra la percentuale di disattivati reali nel primo quantile rispetto alla percentuale di disattivati su tutta la popolazione considerata èdettolift. Il lift misura quindi di quanto nel sottogruppo selezionato si prevede meglio la disattivazione rispetto a quello che si farebbe nella popolazione globale. Più in generale tale misura è definita per un selezionato sottogruppo di una popolazione più vasta come la proporzione di disattivi nel sottogruppo diviso la proporzione di disattivi in tutta la popolazione. 69

70 Data mining: la valutazione dei modelli Accuratezza Ad esempio: Se l insieme totale di login esaminate sia costituito da elementi di cui disattivi, il tasso di churn per questa popolazione sarà di 3.000/ =0,03. Se ordinando i risultati del sistema di previsione per propensione al churn decrescente si individuano, fra le prime 1000 login di questa lista, 150 disattivati, il tasso di churn sarà di 150/1000=0.15. Ciò significa che il lift del sistema di previsione utilizzato è pari a 0.15/0.03=5. 70

71 Data mining: la valutazione dei modelli Nota Accuratezza Nelle telecomunicazioni in Italia il tasso di churn in un mese è molto basso (si aggira attorno all 1%-5%). In questo caso, anche un metodo particolarmente accurato (es. lift=6) ha comunque un numero molto elevato di falsi positivi, cioè un errore di commissione particolarmente elevato (infatti per es. sui 100 clienti più a rischio secondo il sistema previsionale utilizzato, solo 6 saranno effettivamente disattivati). 71

72 Il churn: la previsione data mining puro Soluzione a black box in cui il software (IT) seleziona le variabili e determina il modello in maniera completamente automatica Esempio in tin.it: Primo modello Calo del traffico non actionable! data mining guidato Esempiointin.it: Soluzione in cui l analista guida le analisi nella scelta, almeno parziale, delle variabili, utilizzando i modelli di data mining come strumenti di analisi Secondo modello caratteristiche di traffico (es.. Alto usage nelle ore di picco) Uso dei servizi calo nel traffico Reclami Azioni di Marketing e customer care 72

73 4.2.bis Alcuni casi: metodologia e pratica Il churn: : 3 esempi concreti e un paio di idee 73

74 Il churn: free e pay E necessario un diverso approccio tra free e pay perché Per il pay Il cliente CHIEDE di essere disattivato via raccomandata o Per il free Il cliente non si disattiva, ma passa tra i non active quando non naviga per 3 mesi (45 giorni) I clienti free decidono di andare alla concorrenza senza disattivare 74

75 Tin.it accesso: pay vs free Per disattivare il servizio è necessario inviare un o una raccomandata Il free non viene disattivato. Esce dalla Customer base degliactive users dopo 3 mesi (45 giorni, 30 giorni) consecutivi senza navigazione C è un chiaro evento: tin.it sa quando l utilizzatore vuole disattivare Non c è evidenza di quando il cliente decide di abbandonare tin.it 75

76 Churn: data mining Modello guidato Selezione della Popolazione Si analizza la customer base dei clienti free al 31 gennaio 2001 che si fosse attivata almeno 6 mesi prima (prima di agosto 2000) confrontando coloro che hanno mostrato il segnale per la prima volta nel mese di gennaio 2000 rispetto agli altri. Per queste login si è considerato il traffico fino a novembre L oggetto della previsione La variabile target viene definita con precisione attraverso un semplice segnale che si basa sul pattern di utilizzo del servizio. 76

77 Churn: Data mining Modello guidato L oggetto della previsione Identificazione di un segnale del churn effettivo Tale segnale dovrebbe essere intuitivo e semplice da calcolare legato alla decisione del cliente di andarsene accurato e autoesplicativo Il segnale viene individuato sulla base di Traffico di connessione Traffico 77

78 Churn: data mining Predisposizione data set Modello guidato Divisione casuale circa a metà dell insieme dei dati a disposizione. Creazione dei dataset TOP (che verrà utilizzato per la stima) e BOTTOM (che verrà utilizzato per la validazione). Dal file TOP, selezione di tutte le login disattivate. Selezione casuale (senza ripetizione) di un insieme di login attive di numerosità circa uguale al numero di disattivi nel TOP. Unione di queste login alle disattive appena estratte dal file TOP. 78

79 Churn: data mining Modello guidato Stima del modello Stima del modello Si predispone un cammino di stima guidato, per cui le variabili da inserire nel modello e l ordine di entrata viene definito e deciso a priori sulla base di Conoscenza del business Actionability Modello di data mining stimato in precedenza Analisi preliminari e stime univariate Si utilizza come regola di split l indice di Gini Le variabili risultate non significative all entrata per qualche ramo vengono eliminate solo nel ramo di riferimento Per scelta (aumentare l acrtionability) non si effettua una analisi di pruning per eliminare variabili Calcolo della stima di una misura di propensione al churn per ciascun nodo nel dataset BOTTOM e determinazione dell ordine dei nodi rispetto alla propensione alla disattivazione. 79

80 Churn: data mining Modello guidato Previsione Determinazione delle soglie per la scelta delle tre classi di rischio sulla base di numerosità dei nodi nel dataset BOTTOM e del livello di rischio dei nodi. Per ciascuna login si determina la foglia nell albero a cui appartiene e si definisce Propensione al churn per quella login il valore della propensione nella foglia di riferimento. Classificazione delle login nelle tre classi di rischio 80

81 Churn: data mining Modello guidato Ad ogni nodo e foglia dell albero è associato un diverso indice di propensione al churn (segnale). (I colori delle foglie dell albero indicano classi di rischio: bassa, media, alta) campione CB "churn"=1.8% sottoscrive servizio A "churn"=5.5% non sottoscrive servizio A "churn"=1.4% attivazione prima del xxx "churn"=4.6% attivazione dopo il xxx "churn"=6.0% usa servizio B "churn"=2.5% non usa servizio B "churn"=7.2% più di n connessioni/mese "churn"=3.1% meno di n connessioni/mese "churn"=16.1% più di m mail ricevute "churn"=2.6% meno di m mail ricevute "churn"=6.8% età superiore ai k anni "churn"=14.0% non persona fisica "churn"=16.0% età inferiore ai k anni "churn"=19.6% femmina "churn"=17.8% maschio "churn"=20.3% residente nelle regiorni a,b,c,d,e "churn"=19.2% residente nelle altre regioni percentuale della customer base=1.8% "churn"=21.1% 81

82 Churn: data mining Omissione: Accuratezza del modello Alto Rischio Medio Rischio Modello guidato Basso Rischio SC = Y 27.94% SC = N 3.57% 6.83% 29.46% % 89.60% ( = 100%) ( = 100%) Comissione: Alto Rischio Medio Rischio Basso Rischio SC = Y 49.33% 34.92% 5.58% Lift SC = N 50.67% 65.08% 94.42% Percentile della popolazione 1% 5% 10% 20% Lift ( = 100%) ( = 100%) ( = 100%) 82

83 Churn: data mining Modello ibrido Selezione della Popolazione Si analizza la customer base dei clienti pay al 31 gennaio 2001 che si fosse attivata almeno 6 mesi prima (prima di agosto 2000) confrontando coloro che si sono disattivati nel mese di gennaio 2000 rispetto agli altri. Per queste login si è considerato le informazioni fino a novembre L oggetto della previsione La variabile target è un indicatore (variabile dummy) dell evento disattivazione nel mese di febbraio

84 Churn: data mining Predisposizione data set Modello ibrido Divisione casuale circa a metà dell insieme dei dati a disposizione. Creazione dei dataset TOP (che verrà utilizzato per la stima) e BOTTOM (che verrà utilizzato per la validazione). Dal file TOP, selezione di tutte le login disattivate. Replicazione di tali SIM in 11 file TOP01-TOP11. Selezione sistematica (con campionamento sistematico) di 10 insiemi di login attive (quindi mutuamente escusivi) di numerosità circa uguale al numero di attivi nel TOP. Unione di queste login alle disattive già presenti nei file TOP01-TOP11. Divisione dei dataset TOP01-TOP11 in due parti uguali selezionate casualmente, l una servirà per stimare il modello e l altra per selezionare il modello migliore. 84

85 Churn: data mining Modello ibrido Stima dei modelli Utilizzando i dataset preparati per la stima, si adattano 11 modelli CART, uno per ciascun dataset. Si utilizza: regola di split: Gini regola di prune: Costo densità: 0.01 Calcolo della stima di una misura di predittività (confidence) per ciascun nodo e determinazione dell ordine dei nodi rispetto alla propensione alla disattivazione (per i nodi che prevedono disattivazione propensione alla disattivazione è la confidence, per i nodi che prevedono login attive propensione alla disattivazione è (1-confidence) ). Determinazione, sui dataset preposti, dei migliori sottoalberi per ciascun insieme di dati usato. Determinazione delle misure di accuratezza usuali (matrice di confusione e lift) per ogni singolo modello utilizzando il dataset BOTTOM. 85

86 Churn: data mining Costruzione del modello ibrido Modello ibrido Stima della Propensione al churn del nuovo modello attraverso una media pesata della Propensione al churn (IPC=Indice di propensione al churn) di ciascun modello. I pesi sono proporzionali al rango (numero d ordine) del nodo rispetto all ordine determinato per ogni modello nel punto 5 in base alla Propensione al churn. Il nuovo IPC è ottenuto dalla formula IPC ibrido N i = = 1 max( rank( IPCi )) IPCi rank( IPCi ) N max( rank( IPCi )) rank( IPC ) i= 1 i dove il max dei ranghi corrisponde al massimo numero di nodi in ciascun albero. 86

87 Churn: data mining Previsione Modello ibrido Per determinare la previsione delle login che verranno disattivate si considera la distribuzione della nuova IPC ibrido e controllando gli errori che si commettono, si è fissata una soglia. Per IPC ibrido maggiore della soglia le login vengono considerate a rischio di disattivazione. Determinazione delle regole. Si utilizza per ciascuna login l intersezione delle regole che la coinvolgono. Ogni regola determina un sistema di insiemi in un sistema cartesiano di ordine n. Le intersezione degli 11 sistemi di insiemi determinano la regola del modello ibrido. Tale scelta, coerente con il calcolo della propensione al churn del modello ibrido, risulta però di difficile (costosa in termini di tempo) implementazione informatica. In una prima fase si è scelto quindi (facendo un analisi costi/benefici) di utilizzare le regole del modello che meglio si comporta nel dataset BOTTOM. 87

88 Churn: data mining Alcuni risultati Per determinare un indicatore di rischio, si predispone la distribuzione dell IPC ibrido nell insieme BOTTOM. Distribuzione cumulata dell IPC ibrido Modello ibrido IPC ibrido Per valori superiori a 0.7 dell IPC ibrido la login sarà considerata a rischio. 88

89 Churn: data mining Alcuni risultati Modello ibrido Le variabili che maggiormente influiscono sulla previsione della disattivazione dei pay sono : variabili di traffico utilizzo di chat abbonamento scelto eventuale precedente entrata o l uscita dal dunning eventuali informazioni riguardo la richiesta di documentazione per supposte errate fatturazioni informazioni sulla regione di appartenenza informazione sulla fatturazione 89

90 Churn: data mining Accuratezza del modello Modello ibrido Le misure di adattabilità globale usualmente usate fanno riferimento alla matrice di confusione. Tale tabella racchiude le informazioni che legano, sull insieme BOTTOM, la previsione di disattivazione con l effettiva disattivazione. I risultqati salienti sono L accuratezza globale risulta dell 85%. La percentuale di SIM disattive tra quelle previste disattive (errore di commissione) è del 5.7%. Tale percentuale se confrontata con l analoga proporzione nella customer base (che è di circa 1%) porta a un lift per l intero gruppo selezionato (circa il 10% della customer base) di quasi 6. La percentuale di disattivi previsti dal modello tra tutti coloro che davvero sono disattivi raggiunge il 45%. 90

91 Churn: data mining Accuratezza del modello: : lift Modello ibrido Per misurare la capacità predittiva del modello generalmente si ordinano le login a seconda dell IPC stimato e si calcola il lift per i sottogruppi della popolazione determinati dai quantili della distribuzione risultante. La funzione che traccia i lift al crescere dei percentili della distribuzione delle login ordinata per IPC in linea teorica è una funzione non crescente (è una misura su insiemi ordinati in cui l i-esimo comprende tutti i precedenti). 91

92 Churn: data mining Accuratezza del modello: : lift Percentil Lift del e percentile Modello ibrido La stima della funzione dei lift ottenuta utilizzando il dataset BOTTOM per misurare un modello ottenuto su un diverso dataset non è noncrescente. Considerando piccole percentuali della customer base si può verificare la presenza di perturbazioni stocastiche (rumore) che localmente non fanno mantenere l ordine di pericolosità definito dall IPC in uso. È chiaro che tale proprietà viene invece soddisfatta appena le numerosità nei sottogruppi divengono sufficienti (i percentili crescono). 92

93 Data mining:teoria Generalized Additive Models Idea di base: usare stimatori non parametrici unidimensionali come blocchi per la costruzione di una classe ristretta di modelli non parametrici per la regressione multipla Definizione: p j= 1 ( X ) ε Y = α + f j j + Le f j sono funzioni arbitrarie, una per ogni variabile predittiva Gli ε i sono variabili aleatorie di errore e vengono assunti indipendenti tra loro, dalle X con E(ε )=0 e var(ε j i i )=σ2 inoltre per l identificabilità si assume che E{ f j ( X j )} = 0 GAM 93

94 Data mining:teoria Stima: algoritmo di backfitting GAM 1. Inizializzazione: α = 1 n n i= 1 y i ( 0) f j f j, j = 1, =, p 2. Ciclo: per i=1, 2..., j=1,..., p i f j = Sj Y α f k j () ( i 1 ) k () i ( 1) 3. Fino a: ciascuna funzione f j è uguale alla funzione. X k f j i La convergenza non è assicurata in generale, ma per casi particolari. 94

95 Churn: data mining Modello GAM Selezione della Popolazione Si analizza la customer base dei clienti pay al 31 ottobre 2000 che si fosse attivata almeno 4 mesi prima (prima di luglio 2000) confrontando coloro che si sono disattivati nel mese di novembre 2000 rispetto agli altri. Per queste login si è considerato il traffico fino a settembre L oggetto della previsione La variabile target è un indicatore (variabile dummy) dell evento disattivazione nel mese di novembre

96 Churn: data mining Predisposizione data set Modello GAM Divisione casuale circa a metà dell insieme dei dati a disposizione. Creazione dei dataset TOP (che verrà utilizzato per la stima) e BOTTOM (che verrà utilizzato per la validazione). Dal file TOP, selezione di tutte le login disattivate. Selezione casuale (senza ripetizione) di un insieme di login attive di numerosità circa uguale al numero di disattivi nel TOP. Unione di queste login alle disattive appena estratte dal file TOP. 96

97 Churn: data mining Stima del modello Modello GAM Si stima un modello GAM con i seguenti parametri: funzione legame logistica per le variabili continue, stimatore univariato spline cubiche selezione dei parametri di lisciamento attraverso ispezione grafica/tuning manuale sul file di test stima con algoritmo di backfitting sul file di test Le variabili risultate non significative effettuando test statistici asintotici approssimati sono state escluse Calcolo della stima di una misura di propensione al churn per ciascuna login del BOTTOM utilizzando il modello stimato e determinazione di eventuali classi di rischio. 97

98 Churn: data mining 98 Propensione alla disattivazione Internet Mailbox N Y N Y Variabile H Variabile M Variabile N Propensione alla disattivazione Propensione alla disattivazione Variabile Traffico ougoing A Traffico incoming Variabile Tariffa B 'Picco' Traffico incoming Variabile Tariffa C 'Ordinaria' Opzione Segreteria Zona di Attivazione Bollettino Postale Carta di Credito Domiciliazione Bancaria Cellular Promoters Franchisee GDO Dealers Indipendent Dealers Major Accounts OPI Stores Office Automation Special Channels Propensione alla disattivazione Propensione alla disattivazione Propensione alla disattivazione Propensione alla disattivazione Propensione alla disattivazione Propensione alla disattivazione Altre Variabile Sim Attive D Data Variabile di Attivazione E Propensione alla disattivazione Metodo di Pagamento Canale di Vendita Propensione alla disattivazione Propensione alla disattivazione Business Time 20 - Gold 50 - Valore 51 - Valore Valore 25 Piano Tariffario Programma Affari N Y SI NO Variabile I Alcuni risultati a b c Variabile I a b c d e f g h Variabile H a b c d e Variabile F Modello GAM

99 Customer base: massimizzare la redemption Azioni L analisi ex post è essenziale per identificare quale azione agisce meglio e su quale target Costruire un modello (CART) per determinare il segmento più reattivo Clienti che hanno già tanti servizi ne accetteranno di nuovi 99

100 4.2 Alcuni casi: metodologia e pratica Il profiling sui valori 100

101 Actual figures: Segmentation LA MAPPA SOCIOCULTURALE APERTURA Cultura industriale e post-industriale, aperta al al cambiamento, all innovazione e alla complessità sociale. Fonte : McCANN-ERICKSON PRIVATO Cultura intessuta di di valori materiali ed ed aspirazioni individualistiche. Orientamento ai ai valori del del sé sé e del del privato SOCIALE Cultura solidaristica impregnata di di valori etici e spirituali. Orientamento alla collettività e al al sociale. 101 CHIUSURA Cultura di di stampo arcaico e preindustriale arroccata sui sui valori tradizionali e diffidente verso il il nuovo.

102 Actual figures: Segmentation APERTURA Antiproibizionismo Amore per l aventura Cosmopolititsmo Gestione della complessità Vita sociale Narcisismo Fonte : McCANN-ERICKSON LA MAPPA SOCIOCULTURALE Interesse per la moda Consumismo Edonismo Esoterismo Liberalismo sessuale Adesione al nuovo Revisione ruoli sessuali Secolarizzazione Attenzione all aspetto Industrialismo Anomia Semplificazione della vita Interesse tecnologia Impegno Spiritualità Ecologia Antiautoritarismo Espressione personalità Partecipazione Polisensualismo PRIVATO Ricerca interiore Volontariato Creatività personale Interesse apparenza Ostentazione e prestigio Insicurezza Comunitarismo Welfare Perbenismo Idealismo SOCIALE Diffidenza per la pubblicità Etnocentrismo Paura della violenza Nostalgia natura Bisogno di radicazione Chiusura mentale Localismo Centralità della famiglia CHIUSURA 102

103 Actual figures: Segmentation Fonte : GPF&A AMORE PER L AVVENTURA COSMOPOLITISMO GESTIONE DELLA COMPLESSITÀ CENTRALITÀ DEL CORPO E DEL CONSUMO [7.0%] ANTIPROIBIZIONISMO VITA SOCIALE NARCISISMO ESOTERISMO INTERESSE PER LA MODA LIBERALISMO SESSUALE ADESIONE AL NUOVO CONSUMISMO NUOVA FRONTIERA [12.0%] IMPEGNO ECOLOGIA SECOLARIZZAZIONE ANOMIA EDONISMO ATTENZIONE ALL ASPETTO SEMPLIFICAZIONE DELLA VITA INTERESSE TECNOLOGIA IMPEGNO [10.3%] INDUSTRIALISMO ANTIAUTORITARISMO REVISIONE RUOLI SESSUALI ESPRESSIONE PERSONALITÀ PARTECIPAZIONE POLISENSUALISMO SPIRITUALITÀ CONSUMERISMO RICERCA INTERIORE VOLONTARIATO INTERIORITÀ [8.1%] CREATIVITÀ PERSONALE 103 INTERESSE APPARENZA OSTENTAZIONE E PRESTIGIO INSICUREZZA DECALAGE [12.0%] WELFARE PERBENISMO COMUNITARISM O IDEALISMO ETNOCENTRISMO CULTURA PICCOLO BORGHESE [21.7%] PAURA DELLA VIOLENZA DIFFIDENZA PER LA PUBBLICITÀ NOSTALGIA RADICI NATURA [17.3%] BISOGNO DI RADICAZIONE LOCALISMO CENTRALITÀ DELLA FAMIGLIA CHIUSURA MENTALE TRADIZIONALISMO [11.6%]

104 Segmentation: i bisogni aver successo e diventare qualcuno divertirsi PRIVATO avere molto denaro APERTURA fare una vita intensa di relazioni sociali viaggiare fare una vita intensa e piena di esperienza imparare/ arricchire le proprie conoscenze sentire affetto intorno a sé sentirsi al riparo e al sicuro dai pericoli fare il proprio dovere sentire la stima/ approvazione delle persone che ci circondano CHIUSURA Fonte : GPF&A 104 SOCIALE

105 I navigatori: profiling Obiettivi Capire quanti e quali pattern di utilizzondi internet hanno i navigatori dei siti di tin.it Scoprire le caratteristiche di particolari gruppi di clienti per personalizzare siti e azioni Strumenti Analisi esplorativa per la determinazione dei gruppi Posizionamento dei navigatori/clienti sulla mappa dei valori 105

106 CRM & Profiling Bruno Scarpa Trieste, 28 marzo 2001