Data Mining e Marketing Intelligence

Transcript

1 Data Mining e Marketing Intelligence Alberto Saccardi * Abstract L evoluzione tecnologica ha reso possibile la costruzione di basi dati dedicate per la Marketing Intelligence, con la disponibilità di patrimoni informativi estesi. Il Data Mining è il processo di selezione, esplorazione, e modellazione di grandi masse di dati per scoprire relazioni non note allo scopo di ottenere un vantaggio competitivo. L attività di Data Mining segue un approccio esplorativo nell analisi dei dati: ricercare associazioni non note a priori, al fine di individuare relazioni senza formulare ipotesi a priori sul fenomeno indagato. Keywords: Ricerche di marketing; Ricerche di mercato; Data Mining; Marketing Intelligence; Modelling of Data Bases; Applicazioni di Data Mining 1. Data Mining: un semplice neologismo o un valido supporto per la Marketing Intelligence? L ottimizzazione di una campagna commerciale, la creazione di nuovi prodotti o servizi, l apertura di nuovi punti vendita, il disegno di un attività di cross-selling sono, in genere, problemi affrontati utilizzando la conoscenza del settore, l esperienza accumulata nel corso degli anni, gli errori fatti nel passato. Di contro, l evoluzione tecnologica ha reso possibile la costruzione di basi dati dedicate per la Marketing Intelligence, pertanto la disponibilità di patrimoni informativi estesi pone alcuni quesiti, ad esempio: Quali sono le linee guida che consentono di poter svolgere proficuamente un attività di analisi quantitativa orientata alle problematiche di business? Quali le caratteristiche e quali le competenze necessarie per estrarre ricchezza informativa dai vasti e complessi database aziendali? In che misura una corretta metodologia, supportata da un adeguata scatola degli attrezzi inserita in un ambiente software dedicato e di facile accesso, possono portare consistenti vantaggi economici? Il Data Mining, ovvero il processo di selezione, esplorazione, e modellazione di grandi masse di dati per scoprire relazioni non note allo scopo di ottenere un vantaggio di business 1, vuole essere una risposta completa ai quesiti sopra esposti. 2. Query, Reporting, Data Mining Nel passato recente, il termine Data Mining è stato talvolta utilizzato come sinonimo di altri tipi di analisi quali, ad esempio, Data Retrieval o OLAP. Questi tipi di analisi, tuttavia, si differenziano sia per le modalità di esecuzione che * Amministratore Delegato Nunatac Srl, Professore di Metodi Quantitativi per il Marketing, Università Commerciale L. Bocconi, Milano.

2 62 per gli obiettivi. Il Data Retrieval si caratterizza come una semplice attività di interrogazione di una banca dati: viene formulata una richiesta di estrazione, tradotta in una query, e rispetto a questa vengono selezionati tutti i casi che soddisfano le condizioni precedentemente impostate. L attività di Data Retrieval, dunque, permette di ottenere risposte precise a fronte di richieste altrettanto precise: quali e quanti sono, ad esempio, i clienti di età compresa tra i 40 e i 50 anni che hanno sottoscritto la polizza XY nel primo trimestre L attività di Data Mining, invece, si pone l obiettivo di ricercare associazioni non note a priori, ad esempio quali sono i clienti con maggior propensione all acquisto della polizza XY. Potremmo sostenere che l attività di Data Mining segue un approccio esplorativo nell analisi dei dati: ricercare relazioni senza formulare ipotesi a priori sul fenomeno indagato 2. Il Data Retrieval, invece, segue un approccio meramente verificativo. L attività di Data Mining, inoltre, non può essere confusa con quella volta alla realizzazione di strumenti di reportistica multidimensionale. Infatti, il Data Mining permette di andare oltre alla visualizzazione di semplici riassunti presenti nelle applicazioni di tipo OLAP, formulando modelli funzionali all attività di business. 3. Come impostare correttamente un progetto di Data Mining Un elemento caratterizzante l attività di Data Mining consiste nel portare in produzione i risultati ottenuti: la conoscenza del business, da un lato, la costruzione di regole ed il loro inserimento nelle procedure gestionali, dall altro, costituiscono i requisiti necessari per la costruzione di un motore decisionale. I risultati ottenuti dall attività di analisi, dunque, non si traducono in studi di fattibilità o in rapporti che descrivono un determinato fenomeno; si trasformano, bensì, in regole operative funzionali alla selezione di un target specifico da passare ad un gestore di campagne di marketing, oppure al calcolo dello score di insolvenza di un prestito o di abbandono di un contratto telefonico. Tali regole sono gli output di progetti finalizzati ad attività di business. Vediamo, quindi, le principali problematiche che si incontrano nella conduzione di questi progetti. In particolare affronteremo i seguenti temi: la formalizzazione del problema di business; la modellazione delle strutture dati; la scelta degli strumenti; la composizione del gruppo di lavoro. 3.1 La formalizzazione del problema di business Il buon esito di un progetto di Data Mining consiste nel tradurre correttamente un esigenza di business in un problema di analisi quantitativa. Ad esempio, una delle richieste maggiormente ricorrenti in ambito marketing concerne la selezione dei migliori destinatari di una promozione commerciale. La scelta di tali destinatari non sempre può essere effettuata in base a criteri di estrazione dettati dall esperienza o dalla conoscenza del prodotto. L applicazione di criteri di tipo Data Retrieval, talvolta, porta alla selezione di target troppo numerosi rispetto al budegt disponibile per la campagna,

3 63 soprattutto se il costo per contatto è elevato. In casi di questo tipo, è necessario classificare la clientela in modo da identificare fasce caratterizzate da una diversa propensione di adesione ad un iniziativa commerciale o all acquisizione di determinati prodotti-servizi. Una classificazione di questo tipo viene determinata sulla base di un modello di scoring 3 che assegni a ciascun cliente la probabilità di assumere un determinato stato: aderire o meno alla promozione, acquisire o meno il prodotto-servizio. È, quindi, possibile classificare ed ordinare la popolazione dei potenziali destinatari di una campagna commerciale in base ad una propensione stimata. Classificata la popolazione di riferimento, si pone il problema di quanti clienti contattare. La scelta del numero di destinatari è funzionale agli obiettivi di business della campagna, i quali possono variare dalla massimizzazione del revenue, al raggiungimento del break even point, alla massimizzazione dei contatti utili. Ai fini di tale scelta è necessario integrare i dati di risposta attesa, derivabili dagli score associati ai potenziali destinatari, con i dati economici: i costi da sostenere relativi all impianto della campagna i costi per singolo contatto; i ricavi attesi dalla vendita del prodotto-servizio promozionato. In questo modo è possibile costruire una simulazione dell esito della campagna e costruire la Campaign Chart, ovvero la curva dei ritorni attesi in funzione della numerosità dei target da contattare. A titolo esemplificativo riportiamo un esempio di Campaign Chart (si veda la Figura 1) in cui si evince che la scelta di promuovere il 12% di clienti con maggior propensione d acquisto garantisce l ottimizzazione in termini di revenue, l estensione della campagna al miglior 27% permetterebbe di raggiungere il punto di pareggio, mentre un ulteriore estensione al 35% ci porterebbe in un area di investimento dell operazione, in quanto i ritorni economici attesi della campagna non andrebbero a coprirne i costi. 3.2 La modellazione delle strutture dati Chi ha avuto importanti esperienze in progetti di Data Mining sa quanto sia fondamentale la predisposizione di ambiente dati dedicato per l attività di analisi quantitativa dei dati (si veda la figura 2). In particolare la costruzione e l utilizzo di un Customer Database (CDB), aggiornato nel tempo e contenente le informazioni rilevanti sui clienti attuali e/o potenziali, svolge un ruolo decisivo nel portare a compimento con successo l attività di Data Mining. Il CDB è il luogo in cui i clienti vengono riconosciuti e dove vengono immagazzinati (secondo una logica cliente-centrica e aderente al business) i dati significativi per le successive fasi di analisi. Detto con altre parole il CDB è la condizione necessaria, lo strumento, per la conta e la misurazione degli indicatori elementari che vengono dati in input ai processi di analisi, propri del Data Mining. Il disegno logico e concettuale del CDB deve riprodurre, nello specchio dei dati riclassificati secondo le categorie del business, la complessità delle relazioni clienti-azienda: non si può banalizzare, ma altrettanto non è corretto mettersi in cappa, sottolineando l importanza dei dati che mancano.

4 64 Figura 1: Campaign Chart Semplificando, la struttura di un CDB può essere schematizzata su due livelli: Livello 1: tabelle tematiche fatti per dimensioni (Detail Tables) con il massimo dettaglio che si vuole mantenere per i fatti selezionati. A queste strutture dati possono puntare gli strumenti di Query-Reporting per effettuare estrazioni e/o visualizzare in modo multidimensionale informazioni, inoltre alle stesse tabelle puntano i processi di creazione ed aggiornamento delle Customer Table. Livello 2: tabelle tematiche organizzate per unità logica di riferimento (Customer Table: un record per un cliente), che consentano di misurare tutte le dimensioni interessanti per le analisi di mining. Esse rappresentano le matrici dei dati elementari prese in input dai processi di sintesi/previsione, propri dell attività di Data Mining. Il passaggio dalle tabelle di primo livello (Detail Table) alle Customer Table comporta l assunzione di decisioni sulla perdita di dettaglio, tollerabile a vantaggio di chiarezza ed esaustività di determinate sintesi; se infatti la chiave logica cliente è già definita, non è così per le operazioni di derivazione di nuovi campi, che di quelli originali sono una riorganizzazione in categorie o il risultato di operazioni algebriche: errori a questo punto possono pregiudicare la costruzione delle applicazioni statistiche.

5 65 Figura 2: L ambiente operativo per l attività di Data Mining 3.3 La scelta degli strumenti Uno strumento di Data Mining deve soddisfare determinate caratteristiche di utilizzo: potenza di calcolo: deve essere un strumento in grado di operare su ambienti multipiattaforma, con architettura client/server, in grado di risolvere in modo rapido algoritmi di calcolo ed implementare percorsi di analisi; analisi esplorativa: deve consentire all analista di ottenere statistiche descrittive sulle variabili di analisi (es. media, mediana, moda, quantili della distribuzione, distribuzioni di frequenza, tabelle a doppia entrata) in modo da poter scoprire in anticipo potenziali relazioni ed anomalie nei dati; preparazione dei dati: devono essere presenti funzionalità per il calcolo di nuove variabili, per la sostituzione dei valori mancanti, per individuazione e l eventuale eliminazione dei valori anomali (outliers) per consentire all analista la costruzione della base dati finale su cui procedere con la modellizzazione; molteplicità di tecniche: deve mettere a disposizione dell analista un ampia gamma di strumenti di analisi che gli consentano di scegliere la soluzione migliore sia in termini di performance sia dal punto di vista del rispetto degli obiettivi aziendali. In questa fase, può essere di supporto la presenza di tecniche per la selezione automatica delle variabili maggiormente correlate con il target e di metodi per la riduzione della dimensionalità dell infor-

6 66 mazione mediante la definizione di combinazioni lineari delle variabili (es. analisi delle componenti principali, analisi fattoriale); confronto: deve fornire indici di valutazione coerenti per i diversi modelli prodotti in modo da permettere all analista di effettuare un veloce confronto delle performance. Sicuramente utile è la possibilità di confrontare graficamente le performance dei diversi modelli prodotti mediante grafici quali: lift chart, response threshold chart, roc chart; generalizzazione: la stima dei modelli deve essere condotta secondo approcci di validazione dei risultati tali da garantire la capacità di generalizzazione dei modelli stimati; ambiente di produzione: deve essere in grado di interfacciarsi con il CDB aziendale, o con eventuali altri ambienti dati alimentanti, e deve permette l esportazione delle regole decisionali individuate in un ambiente di produzione che permetta la replica periodica dell intero processo. Figura 3: SAS Enterprise Miner. Un esempio applicativo Le soluzioni software oggi presenti sul mercato coprono, chi più, chi meno, le caratteristiche sopra riportate. In particolare quelle più complete sono i pacchetti offerti da SPSS, con Celementine, e da SAS, con SAS Enterprise Miner. 3.4 La composizione del gruppo di lavoro Indipendentemente dal tipo di applicazione specifica, l attività di Data Mining si caratterizza in una serie di fasi che vanno dalla definizione degli

7 67 obiettivi dell analisi, fino alla valutazione dei risultati, all interno di un processo che si autoalimenta in termini di ridefinizione degli obiettivi e di conseguimento di risultati. Sinteticamente le fasi di questo processo possono essere schematizzate nel seguente modo: predisposizione dei Dati di Input; campionamento; analisi preliminari; costruzione del modello; scelta del modello finale; implementazione delle regole nei Processi Decisionali. Inoltre, non dobbiamo dimenticare che tale processo è funzionale ad obiettivi di Marketing Intelligence, quali la realizzazione di una campagna commerciale, indirizzata su clienti/prospect ad elevata propensione di risposta. Pertanto, l organizzazione di un progetto di Data Mining è funzionale a mettere insieme diverse competenze specifiche. In particolare il buon esito del progetto richiede la costituzione di un gruppo di lavoro interdipartimentale che coinvolge le seguenti funzioni: sponsor del progetto; esperto della problematica di business; esperto dei contenuti e delle logiche dell ambiente dati; esperto delle tecniche di analisi dei data (Data Miner). Lo sponsor del progetto deve essere di alto livello: un progetto di Data Mining può coinvolgere diverse aree dell azienda e può avere impatti significativi sulle modalità operative della stessa. Quindi occorre la necessaria influenza aziendale per poter raggiungere l obiettivo preposto. Gli altri componenti del gruppo hanno un mandato più operativo che può essere così sintetizzato: corretto funzionamento degli strumenti informatici a supporto del progetto e delle modalità di passaggio in produzione delle regole prodotte dall analisi dei dati. costruzione dei modelli di analisi; interpretazione dei modelli di analisi ed applicazione al business; pianificazione delle campagne commerciali; predisposizione delle procedure operative per l effettuazione delle campagne; predisposizione delle procedure operative per la misurazione degli esiti delle campagne. 4. Gli ambiti applicativi del Data Mining Abbiamo definito il Data Mining come un processo, all interno del quale si utilizzano una o più tecniche per estrarre dai dati indicazioni a supporto ell attività di business: la scelta di quale tecnica utilizzare nella fase di analisi dipende, essenzialmente, dal tipo di problema oggetto di studio (analisi della dipendenza analisi della interdipendenza) e dal tipo di dati disponibili per l analisi (quantitativi categorici). Tra le applicazioni più comuni troviamo:

8 68 Customer Profiling (Market Bubble): applicazione di tecniche di clustering al fine di individuare gruppi omogenei in termini di comportamenti e di caratteristiche socio-demografiche; l individuazione delle diverse tipologie di clienti permette di effettuare campagne di marketing diretto e di valutarne gli effetti, nonché di ottenere indicazioni su come modificare la propria offerta, e rende possibile monitorare nel tempo l evoluzione della propria clientela e l emergere di nuove tipologie. Market Basket Analysis (Affinity Analysis): applicazione di tecniche di individuazione di associazioni a dati di vendita al fine di conoscere quali prodotti sono acquistati congiuntamente ad altri; questo tipo d informazione consente di migliorare l offerta dei prodotti (disposizione sugli scaffali) e di incrementare le vendite di alcuni prodotti tramite offerte sui prodotti ad essi associati. Scoring System (Predictive Modelling): sistema integrato di procedure volte alla costruzione di un modello che mette in relazione le caratteristiche di un sistema di individui (la lista dei potenziali clienti) con una variabile obiettivo. Tale variabile rappresenta l adesione ad una proposta commerciale, mentre le variabili esplicative sono legate al comportamento passato degli individui nei confronti di analoghe iniziative e alle loro caratteristiche anagrafiche. L obiettivo di tale tecnica consiste nell assegnazione di un punteggio numerico (score) ad ogni individuo; tale score sarà collegato alla probabilità che ogni il risponda all azione commerciale. In questo modo è possibile ordinare i clienti in base allo score e selezionare quelli a cui è associata una probabilità di adesione più elevata. Text Mining (Market Bubble): applicazione di tecniche di clustering al fine di individuare gruppi omogenei di documenti in termini di argomento trattato; consente di accedere più velocemente all argomento di interesse e di individuarne i legami con altri argomenti. È convinzione diffusa che il Data Mining si avvalga di tecniche statistiche applicabili solo su grandi numeri : questo termine è assai generico se si pensa che le suddette tecniche sono state sviluppate in psicologia, medicina e biologia; in questi campi le numerosità dei campioni a disposizione sono nell ordine di decine o al massimo centinaia di unità statistiche. Va detto, inoltre, che esistono molte relazioni statistiche che sono ovvie su popolazioni da censimento nazionale. Ad esempio la diminuzione del reddito medio procapite produce una proporzionale diminuzione negli acquisti dei beni di largo consumo. Ve ne sono, però, molte altre tutt altro che evidenti su numerosità minime: ad esempio, sul numero dei tavoli di un ristorante si può trovare una relazione tra gli ammanchi di cassa e la composizione degli incassi medi di giornata in termini di taglio delle banconote!. Ciò che intendiamo dire è che, se i modelli statistici per le previsioni dei ritorni su attività promozionali sono ormai ampiamente utilizzati in settori le cui aziende dispongono di portafogli clienti che si contano in termini di milioni, come le cosidette telecom, i grandi gruppi bancari e assicurativi o anche le aziende dell editoria e della vendita per corrispondenza, ciò non significa che le analisi ad esempio sulla potenzialità del territorio, conseguente ad una sua segmentazione non solo geograficoorganizzativa ma anche basate sulla diffusione di vari prodotti, non possa essere di estrema utilità per un azienda del settore tessile o calzaturiero.

9 69 Bibliografia Berry M.J.A., Linoff G. (1997) Data Mining Techniques, Wiley & Sons, New York. Camillo F., Tassinari G. (2002) Data Mining, Web Mining e CRM: metodologie, soluzioni e prospettive, Franco Angeli, Milano. Del Ciello N., Dulli S., Saccardi A. (2001) Metodi di Data Mining per il Customer Relationship Management, Franco Angeli, Milano. Dulli S., Polpettini P., Trotta M. (2004) Text Mining: Teoria e Applicazioni, Franco Angeli, Milano. Hand D., Mannila H., Smyth P. (2001) Principles of Data Mining, MIT Press, Cambridge Massachusetts Inmon W.H. (1996), Building the Data Warehouse, Wiley & Sons, New York. Molteni L., Troilo G. (2003), Ricerche di Marketing, McGraw-Hill, Milano. Note 1 In termini generali, ciò che distingue l attività di Data Mining dall analisi statistica comunemente intesa non è solamente la mole di dati su cui vengono effettuate le elaborazioni, né la disponibilità di un numero rilevante di tecniche, quanto la finalizzazione dell attività d analisi verso le esigenze aziendali e la possibilità di operare in un ambiente predisposto per l integrazione di contributi tecnici e conoscenze di business: fare Data Mining significa seguire una metodologia che va dalla definizione della problematica all implementazione di regole decisionali economicamente misurabili. In sintesi, la novità offerta dallo sviluppo tecnologico, hardware e software, e dal Data Mining consiste nell integrare i processi decisionali con regole costruite sintetizzando complessi ed estesi patrimoni informativi; tali regole non sono semplicemente il risultato di studi pilota, bensì l output di progetti finalizzati ad attività di business. 2 Un elemento distintivo del Data Mining concerne la modalità con cui viene eseguita la fase di analisi dei dati. Generalmente vengono formulate ipotesi molto semplici sulla natura del fenomeno indagato, ad esempio se il problema trattato rientra nell ambito dell analisi della dipendenza o della interdipendenza, trascurando le ipotesi relative alla forma distributiva delle variabili che descrivono il problema stesso. Lo sforzo maggiore consiste nell utilizzare più tecniche per spiegare lo stesso fenomeno e nel costruire regole empiriche volte alla scelta del miglior modello. Infatti, una volta tradotto il problema di business in problema di analisi quantitativa, è possibile seguire diversi percorsi nella soluzione del problema. In questo ambito la scelta della regola finale è subordinata non solo alla capacità esplicativa del modello ed alla sua capacità di corretta classificazione, ma anche dalla reale possibilità di impiego di tale regola. 3 In termini generali la costruzione di modello di scoring rientra nell ambito dell analisi della dipendenza, ove la costruzione di un modello è finalizzata a porre in relazione un fenomeno, l adesione alla campagna, con un insieme di descrittori strutturali, ad esempio l età o la località di residenza, e/o comportamentali, ad esempio in un caso bancario il saldo medio di conto corrente degli ultimi due semestri o il numero di operazioni in dare e avere negli stessi semestri. In altre parole il fenomeno indagato gioca il ruolo della variabile dipendente, mentre i descrittori strutturali e/o comportamentali quello delle variabili esplicative. L applicazione della regola di classificazione associa a ciascun cliente uno score proporzionale alla probabilità di adesione all iniziativa commerciale.