Statistica per l Analisi Organizzativa

Transcript

1 Statistica per l Analisi Organizzativa Università Commerciale L. Bocconi Anno Accademico Bruno Scarpa

2 le aziende

3 statistica in azienda Diversi livelli di coinvolgimento della statistica nel fare business focus sui prodotti Analisi di marketing: reports e statistiche descrittive di base Supporto all uomo di marketing: aiuto quantitativo alle idee di marketing Fare analisi e proporre idee: è il motore delle azioni di marketing Guida commerciale e tecnologica focus sul cliente Strumenti: Reports Tabelle Semplici indicatori Reports Tabelle Semplici indicatori Semplici modelli Tabelle Indicatori/tassi Modelli Data mining Modelli Statistici Data mining Reports Tabelle Indicatori

4 Customer base: approccio strategico Un unico obiettivo Aumentare il Customer Lifetime Value attraverso la riduzione del churn e l aumento dell ARPU attraverso PROFILING & SEGMENTATION Identificare i potenziali churners churners Massimizzare la soddisfazione dei clienti Focalizzarsi su target per cross e up sell Ridurre il churn Massimizzare il valore del cliente

5 Customer Relationship Management Identificare Realizzare Praticare tutte le attività necessarie a garantire il processo di attenzione e fidelizzazione dell individuo verso l azienda e la sua offerta di prodotti e servizi e, conseguentemente la massimizzazione delle opportunità di business attraverso la soddisfazione costante dei bisogni

6 Profiling Identificare Classificare Acquisire Gestire tutte le informazioni che consentono la conoscenza e l analisi del proprio target di riferimento e, conseguentemente la realizzazione di prodotti e servizi ad elevata probabilità di soddisfazione dei suoi bisogni sources analysis mgmnt

7 Customer base: segmentazione di base 0% VALORE DEL CLIENTE 100% COSTRUIRE FELDELTA DIFFERENZIAZIONE DEI SERVIZI INBOUND & OUTBOUND SCHEMA DI LOYALTY (Incentivi) BLOCCHI (Disincentivi alla fuga) AZIONI A BASSO COSTO/ NO PROMOZIONI NON COSTI AGGIUNTIVI PER LA GESTIONE DEL CLIENTE AZIONI DI MASSA MASSIMIZZARE IL VALORE OPERATORE CC PERSONALE NUOVI VAS MEMBER GETS MEMBER CURA & ATTENZIONE AUMENTARE IL VALORE AZIONI DI UP / CROSS SELL INCENTIVARE L USO INCENTIVARE ATTIVAZIONE DI VAS 0% FEDELTA DEL CLIENTE 100% 0% ALLA CONCORRENZA!

8 L approccio di crm OBIETTIVI Generazione di profitti attraverso l acquisizione di clienti ad alto valore, la creazione di valore e un attenta politica di cost to serve 4Acquisizione di clienti (conversione di prospect in clienti) 4Aumento del valore dei clienti attraverso azioni di cross-sell e di up-sell 4 trattenere i clienti (retention) 4Attenzione al cost to serve AZIONI ANALISI (PROFILING) DATI GREZZI 4Campagne 4Programmi di Loyalty 4Personalizzazione dei Servizi 4Gestione dei canali di contatto 4(sviluppo di nuovi prodotti) 4Analisi di dati sui clienti 4Segmentazione & micro-segmentazione 4Suggerimenti sui bisogni e le preferenze dei clienti CUSTOMER DATA 4ID (nome, indirizzo, num. di telefono, piano tariffario...) 4Dati Demografici (età, città,...) 4Dati Socio-economici (reddito, professione, titolo di studio, classe di valore,...) 4Dati Psicografici (ambiente, preferenze, hobbies,...) 4Patterns d uso (spesa telefonica, servizi usati e frequenza,...) 4Analisi delle propensioni sui contatti Uso dei canali Ragioni di contatto 4Esperienza del cliente per ogni canale (CC, Portale,chat, Messaging, Dealers) 4Efficienza del Customer Care 4Storia dei contatti del cliente Uso dei canali Motivo di contatto Numero di contatti DATI SUI LIVELLI DI SERVIZIO DEI CANALI...

9 L approccio di crm OBIETTIVI Generazione di profitti attraverso l acquisizione di clienti ad alto valore, la creazione di valore e un attenta politica di cost to serve 4Acquisizione di clienti (conversione di prospect in clienti) 4Aumento del valore dei clienti attraverso azioni di cross-sell e di up-sell 4 trattenere i clienti (retention) 4Attenzione al cost to serve AZIONI ANALISI (PROFILING) DATI GREZZI 4Campagne 4Programmi di Loyalty 4Personalizzazione dei Servizi 4Gestione dei canali di contatto 4(sviluppo di nuovi prodotti) 4Analisi di dati sui clienti 4Segmentazione & micro-segmentazione 4Suggerimenti sui bisogni e le preferenze dei clienti CUSTOMER DATA 4ID (nome, indirizzo, num. di telefono, piano tariffario...) 4Dati Demografici (età, città,...) 4Dati Socio-economici (reddito, professione, titolo di studio, classe di valore,...) 4Dati Psicografici (ambiente, preferenze, hobbies,...) 4Patterns d uso (spesa telefonica, servizi usati e frequenza,...) 4Analisi delle propensioni sui contatti Uso dei canali Ragioni di contatto 4Esperienza del cliente per ogni canale (CC, Portale,chat, Messaging, Dealers) 4Efficienza del Customer Care 4Storia dei contatti del cliente Uso dei canali Motivo di contatto Numero di contatti DATI SUI LIVELLI DI SERVIZIO DEI CANALI...

10 *costa poco rilevare dati in modalità automatica *costa poco immagazzinare dati in data-base sempre più grandi Contesti rilevanti: * data-base aziendali (customer-base, CRM,...) soprattutto per telefoniche, banche e assicurazioni, grande distribuzione (cfr carte fedeltà) * ambito scientifico: microarrays, radiotelescopi, fisica delle alte energie * tecnologie varie: telerilevazione, riconoscimento vocale, OCR, etc. * dati non strutturati - text-mining (motori di ricerca web)

11 Il DWH Esempio: TLC Dati sui VAS & Killer Applications Dati di Billing Dati di traffico telefonico Dati sulle attivazioni (e.g. Data di sottoscrizione del contratto, Tipo di contratto, Piano tariffario,...) Informazioni sociodemografiche Dati sui costi Dati di traffico da web Dati sui gravi errori che l azienda compie nella gestione di clienti (es. errori dibilling,...) Offerta della pagine/ contenuti web(es. page views, unique visitors,...) DWH Dati e indici ottenuti dalle analisi della CB Dati raccolti attraverso il web (questionari, indagini e comportamenti dei visitatori) Dati sulle Dati sulle communities Altri dati sui servizi a valore aggiunto (interni e sui siti amici ) Dati dal CRM operativo Dati sul Campaign Management & storia dei contatti di Marketing Ricerce di mercato e dati esterni Dati sui programmi di Loyalty

12 *il data-base disponibile è enorme! è quindi opportuno: - tener conto degli obiettivi delle analisi - non concentrarsi solo su da dove e come raccogliere informazioni - utilizzare estrazioni di parti del data-base diverse a seconda degli obiettivi Ad esempio: * Nel datamart per la previsione della disattivazione, è più utile tenere l informazione sugli errori di fatturazione rispetto ai dettagli sociodemografici * Campioni casuali di clienti possono essere molto utili

13 L approccio di crm OBIETTIVI Generazione di profitti attraverso l acquisizione di clienti ad alto valore, la creazione di valore e un attenta politica di cost to serve 4Acquisizione di clienti (conversione di prospect in clienti) 4Aumento del valore dei clienti attraverso azioni di cross-sell e di up-sell 4 trattenere i clienti (retention) 4Attenzione al cost to serve AZIONI ANALISI (PROFILING) DATI GREZZI 4Campagne 4Programmi di Loyalty 4Personalizzazione dei Servizi 4Gestione dei canali di contatto 4(sviluppo di nuovi prodotti) 4Analisi di dati sui clienti 4Segmentazione & micro-segmentazione 4Suggerimenti sui bisogni e le preferenze dei clienti CUSTOMER DATA 4ID (nome, indirizzo, num. di telefono, piano tariffario...) 4Dati Demografici (età, città,...) 4Dati Socio-economici (reddito, professione, titolo di studio, classe di valore,...) 4Dati Psicografici (ambiente, preferenze, hobbies,...) 4Patterns d uso (spesa telefonica, servizi usati e frequenza,...) 4Analisi delle propensioni sui contatti Uso dei canali Ragioni di contatto 4Esperienza del cliente per ogni canale (CC, Portale,chat, Messaging, Dealers) 4Efficienza del Customer Care 4Storia dei contatti del cliente Uso dei canali Motivo di contatto Numero di contatti DATI SUI LIVELLI DI SERVIZIO DEI CANALI...

14 Alcuni problemi acquisizione della clientela prospect Raggiungere una soglia minima di clienti ASAP Trovare e attrarre i clienti giusti: quanto spendere per ciascun diverso cliente potenziale? Scoprire frodi di sottoscrizione determinare domande di sottoscrizione fraudolente profittabilità dei clienti valore del cliente dormienti e share of wallet monitoraggio e management del rischio Determinare e ottimizzare i parametri di rischio

15 Alcuni problemi fedeltà approccio predittivo modelli di previsione del churn attrito e retention Customer profiling chi sono i clienti? cosa ciascun cliente vuole? come contattare ogni cliente? Modellazione e determinazione e delle principali cause azioni: programmi di loyalty/campagne/up sell-cross sell relazione col cliente Personalizzazione dell attenzione e del contatto valutazione delle azioni Spesso non è possibile effettuare esperimenti caso-controllo I clienti sono autoselezionati Valutare a posteriori alcune azioni Stima gli effetti delle azioni condizionatamente all effetto di tutte le altre variabili

16 L approccio di crm OBIETTIVI Generazione di profitti attraverso l acquisizione di clienti ad alto valore, la creazione di valore e un attenta politica di cost to serve 4Acquisizione di clienti (conversione di prospect in clienti) 4Aumento del valore dei clienti attraverso azioni di cross-sell e di up-sell 4 trattenere i clienti (retention) 4Attenzione al cost to serve AZIONI ANALISI (PROFILING) DATI GREZZI 4Campagne 4Programmi di Loyalty 4Personalizzazione dei Servizi 4Gestione dei canali di contatto 4(sviluppo di nuovi prodotti) 4Analisi di dati sui clienti 4Segmentazione & micro-segmentazione 4Suggerimenti sui bisogni e le preferenze dei clienti CUSTOMER DATA 4ID (nome, indirizzo, num. di telefono, piano tariffario...) 4Dati Demografici (età, città,...) 4Dati Socio-economici (reddito, professione, titolo di studio, classe di valore,...) 4Dati Psicografici (ambiente, preferenze, hobbies,...) 4Patterns d uso (spesa telefonica, servizi usati e frequenza,...) 4Analisi delle propensioni sui contatti Uso dei canali Ragioni di contatto 4Esperienza del cliente per ogni canale (CC, Portale,chat, Messaging, Dealers) 4Efficienza del Customer Care 4Storia dei contatti del cliente Uso dei canali Motivo di contatto Numero di contatti DATI SUI LIVELLI DI SERVIZIO DEI CANALI...

17 Modelli statistici e data mining 4Utilizzo di tecniche e metodologie statistiche di vario tipo e di diverso livello di complessità 4L approccio è graduale: si parte da soluzioni e metodologie semplici e poi man mano ci si sposta su modelli e strumenti più sofisticati (KISS = Keep It Simple. Sam!) 4È preferibile non affidarsi a soluzioni automatiche (black box) che propongono schiaccia il bottone e il computer farà tutto da solo (la proposta tipica dei tools in vendita) 4Data mining: Insieme di tecniche statistiche (e non) per la stima di modelli non-lineari per grosse quantità di dati, ma caratterizzate da ridotta complessità computazionale.

18 Definizione abbastanza condivisa: 'Data mining' rappresenta l'attività di elaborazione in forma grafica o numerica di grandi raccolte o di flussi continui di dati con lo scopo di estrarre informazione utile a chi detiene i dati stessi. *ma di fatto ognuno la vive in modo diverso *soprattutto in aree disciplinari diverse

19 Voci autorevoli: Data mining is fundamentally an applied discipline (...) data mining requires an understanding of both statistical and computational issues. (p. xxviii) The most fundamental difference between classical statistical applications and data mining is the size of the data. (p. 19) [da Hand, Mannila & Smith, 2001]

20 Aspetti salienti: la dimensione dei dati lievita (qui n.righe ~ 10 3 /10 6, n.colonne ~ 10 2 /10 3 ) * ambito osservazionale * ma non esiste un "piano campionamento"; semplicemente i dati "esistono * dati raccolti per esigenze gestionali o simili, non per scopi di analisi * i dati sono sporchi, anzi luridi * campioni o censimenti?

21 Di cosa ci occuperemo? Gli interrogativi: come costruire l informazione in azienda? come interpretarla? come utilizzarla? come analizzarla? Cosa studieremo: insieme di metodi e tecniche statistiche specificamente pertinenti per lo studio empirico-quantitativo dei fenomeni aziendali. Caratteristiche specifiche (a) In questo contesto non è, in generale, possibile la sperimentazione controllata. Si ha invece osservazione in condizioni non sperimentali (b) la teoria disponibile sul comportamento economico o sociale può fornire informazioni a priori, che conviene utilizzare: identità contabili [es. 1: reddito = consumo + risparmio]; specificazione di relazioni funzionali [es. 2: funzione di consumo: consumo = f(reddito, ricchezza, )]; restrizioni sui parametri e/o sulla distribuzione degli errori [es. 3: consumo = α + β reddito + ε, con 0<β<1].

22 Il target potenziale L ufficio marketing di un azienda italiana che offre servizi Internet è interessato a conoscere qual è la presenza attuale del suo prodotto (la connessione a internet) in Italia. Interessa inoltre avere delle previsioni su quale sarà la percentuale di famiglie connesse alla rete nel prossimo anno. Qual è il target potenziale, il massimo numero di possibili clienti del prodotto? Qual è il margine su cui è possibile agire? Come si posiziona l azienda tra i competitors? E conosciuta dai potenziali clienti? Target potenziale

23 Esempio 2: la customer base Il direttore marketing di un azienda di telecomunicazioni vuole avere ogni giorno sotto controllo l andamento delle vendite del giorno precedente ma anche l utilizzo medio del serivizio dei suoi clienti. Quando il numero dei clienti diventa grande è importante che siano bene identificati i clienti migliori, in modo da trattarli meglio. Come sceglierli?

24 customer base: il churn Modellare la disattivazione: costruire, validare, interpretare un modello che descriva il comportamento degli utenti in termini di disattivazione in relazione ad altre variabili note Perché? Per descrivere il fenomeno Per prevedere i potenziali futuri disattivi Per predisporre azioni Per verificare l efficacia di operazioni di marketing/customer Operation

25 customer base: il churn Le fonti Aziendali: ( DWH, database operazionali, ) Per tutti i clienti Informazioni su traffico servizi opzionali comportamento del cliente reclami-rapporti con customer care azioni di marketing/customer care fatture/ricariche dati demografico/anagrafici Altre fonti: Ricerche di mercato Per un piccolo campione casuale di clienti Informazioni su comportamenti stili di vita motivi della disattivazione tempi della scelta ottenuti tramite interviste

26 il churn: gli obiettivi Determinare un indicatore di propensione alla disattivazione per ogni cliente Prevedere i potenziali futuri disattivi Capire i motivi fondamentali che portano alla disattivazione e i comportamenti che la precedono Individuare possibili azioni volte alla retention del cliente Verificare l efficacia di operazioni di Marketing/Customer Operation

27 il churn: gli obiettivi Chi è a rischio di abbandono? Caratteristiche demografiche Usage Comportamenti di traffico Contatti con l azenda Informazioni sul billing Copertura della rete dei pop Comportamento dei clienti sul churn Quando è maggiore il rischio di abbandono? Promozioni della concorrenza Eventi della vita Perché sono a rischio di abbandono? Offerte della concorrenza convenienza dei prezzi Prezzo dell Hardware Servizio al cliente Programmi a premi

28 Il churn: l analisi statistica Come si ottiene l indice di propensione? Quali caratteristiche dei clienti hanno effetto sulla decisione di disattivare e qual è l effetto di ogni variabile considerata tra le altre? Ma non ci potrebbe essere qualche effetto di sovrapposizione tra le variabili? Come tenerne conto? Avendo a che fare con stime come dare una misura di affidabilità di queste stime? Come ottenere misure di qualità di adattamento ai dati?

29 Segmentazione e profiling Conoscere i clienti, per suddividerli in gruppi a seconda di interessi, propensioni all utilizzo di uno o più prodotti o servizi offerti dall azienda Tutto finalizzato a personalizzare ogni eventuale contatto, azione di marketing, relazione... Alcuni esperti della società italiana propongono di suddividere i clienti sulla base di due assi che descrivono le caratteristiche socio-culturali degli individui

30 Segmentazione e profiling CENTRALITÀ DEL CORPO E DEL CONSUMO [7.0%] NUOVA FRONTIERA [12.0%] [12.0%] CULTURA PICCOLO BORGHESE [21.7%] TRADIZIONALISMO [11.6%] L altro asso Privato-Sociale è caratterizzato da una parte dal Privato, cioè la cultura intessuta di valori materiali ed aspirazioni individualistiche orientata ai valori del sé e del privato, dall altra dal Sociale, indicante la cultura solidaristica impregnata di valori etici e spirituali orientata alla collettività e al sociale. IMPEGNO [10.3%] INTERIORITÀ [8.1%] RADICI [17.3%] Un asse di Apertura-Chiusura dove Apertura indica la cultura industriale e post-industriale, aperta al cambiamento, all innovazione e alla complessità sociale, mentre Chiusura indica la cultura di stampo arcaico e preindustriale arroccata sui valori tradizionali e diffidente verso il nuovo. Ma come determinare questi assi (o altri)? Come inserire ciascun cliente nel suo esatto punto della mappa? Come assegnarlo a un gruppo definito?

31 La valutazione delle azioni Azioni: massimizzare la redemption L analisi ex post è essenziale per identificare quale azione agisce meglio e su quale target Per misurare le azioni è necessario definire: I modelli di misura (indicatori/modelli di analisi e algoritmi) Gli strumenti di misurazione ACTION DESIGN ACTION DEPLOYMENT ACTION MEASUREMENT

32 La valutazione delle azioni caso-controllo Target: clienti a rischio con una determinata caratteristica Azione: (1A) - Lettera con suggerimenti per l utilizzo (DM) (1B) - Lettera con suggerimenti per l utilizzo + 1 regalo (DM) Disegno di indagine: Caso-controllo Alcuni risultati Test di significatività Abbandoni Azione casi controllo differenza t p-value 1A 61.30% 61.13% +0.17% B 59.21% 61.13% -1.92%

33 La valutazione delle azioni ma, se l azione dipende dalla scelta del cliente? Target: Tutti i clienti Azione: Sottoscrizione di un particolare servizio Disegno di indagine: non è possibile confrontare i sottoscrittori con un analogo campione di non sottoscrittori del servizio (autoselezione) Non è possibile disegnare a priori l'indagine!

34 Consumo di gas e prezzo Per alcune città del Texas sono rilevati prezzo e consumo di gas C è una relazione? È possibile prevedere il consumo di gas se si fissa un prezzo?

35 Il problema......è quello di capire la dinamica all interno dei dati osservati. Si tratta di capire quali sono le strutture di relazione, individuare se eventuali relazioni evidenti sono attribuibili al caso, o se sono davvero presenti nel fenomeno in esame scoprire eventuali relazioni nascoste dalla componente di rumore presente nei i dati avere degli elementi per capire la realtà predisporre una strumentazione che sia utile per fare previsioni

36 Che cosa sviluppiamo in questo corso? Ci concentreremo soprattutto su alcuni strumenti quantitativi utili per affrontare i diversi problemi che si incontrano nel mondo aziendale Faremo dei richiami di alcuni aspetti di matematica che ci saranno utili per l analisi statistica dei dati Approfondiremo semplici modelli per studiare la relazione tra variabili. Durante il corso utilizzeremo semplici strumenti informatici di supporto per le analisi

37 L approccio Una comprensione delle caratteristiche degli strumenti è essenziale per poter scegliere adeguatamente lo strumento adatto Lo stesso tipo di padronanza è richiesto per poter interpretare correttamente i risultati prodotti dagli algoritmi Una certa competenza sugli aspetti algoritmici e computazionali è di aiuto per meglio valutare l output del calcolatore anche in termini della sua attendibilità Quindi: cercheremo di combinare assieme metodologie aggiornate con una certa comprensione sia del problema operativo, sia delle caratteristiche dei metodi e modelli utilizzati

38 Il Programma Lo studio delle relazioni tra i fenomeni. Richiami del modello lineare Modello lineare semplice Inferenza sui parametri del modello Estensioni del modello Modello lineare multiplo Le tecniche statistiche e l approccio analitico alla soluzione dei problemi. Contrasto tra aderenza ai dati e complessità del modello (contrasto tra distorsione e varianza) tecniche generali per la selezione del modello Metodi di previsione di variabili quantitative. Regressione lineare e metodi legati (GLM, ) Cenni ai metodi di regressione non parametrica Modelli di regressione strutturata (modelli additivi, alberi, reti neurali) Metodi di classificazione Modelli lineari e generalizzazioni (regressione lineare e logistica, analisi discriminante lineare e quadratica) Modelli strutturati (alberi, GAM, reti neurali) Cenni ai metodi di raggruppamento

39 L ambiente R Molti pacchetti statistici forniscono procedure che aiutano nel calcolo dei modelli e metodi che incontreremo in questo corso È quindi possibile utilizzare un qualsiasi software statistico, purché sia in grado di effettuare i calcoli necessari; ogni inadeguatezza del software è responsabilità vostra. Noi, per le esercitazioni in aula, ne abbiamo scelto uno: l ambiente R Alcuni motivi per la scelta: In termini di qualità, R costituisce uno dei migliori prodotti disponibili È un prodotto open source, e quindi gratuito Il fatto che sia gratuito non significa che valga poco: R è curato e aggiornato continuamente da esperti di massimo livello scientifico R è anche un linguaggio, si presta quindi facilmente alla programmazione di varianti di metodi esistenti Sono inoltre disponibili un amplissima gamma di moduli aggiuntivi predisposti, da esperti di vari ambiti. L insieme delle tecniche utilizzabili copre l intero panorama delle più aggiornate metodologie Essendo open source consente a ciunque di poter contribuire al progetto anche correggendo eventuali bachi La modalità di utilizzo di R è tale per cui l utente è indotto a prendere consapevolezza del funzionamento dei metodi usati.

40 Lo studio e l esame La materia non è tra le più comuni L approccio è di tipo operativo Per cui la frequenza è vivamente consigliata! Non ci sono grossi libri da studiare: conviene riprendere ogni giorno quanto fatto a lezione studiate insieme in piccoli gruppi fatevi/fate domande sfruttate il ricevimento Attività di lavoro personale/di gruppo bi-settimanale Approfondimenti Ricerche e Analisi Attività per casa - Homeworks Studi di Caso Laboratorio Per quasi la metà delle lezioni si utilizzerà direttamente il Computer ->Aule Informatiche per il lavoro personale Valutazione Per i frequentanti la valutazione sarà basata su: Partecipazione attiva - domande Attività bisettimanali per casa Attività (assegnata a metà corso) Prova Finale (I appello)

41 Testi e altre fonti utili Libro di testo: A. Azzalini, B. Scarpa (2004). Analisi dei dati e data mining. Springer. Altri libri: Sui contenuti del corso: T. Hastie, R. Tibshirani, J. Friedman. The Element of Statistical Learning. Springer-Verlag. Sul programma R: S.M. Iacus, G. Masarotto (2003). Laboratorio di Statistica con R. McGraw- Hill, Milano. P. Bortot, L. Ventura, A. Salvan (2000). Inferenza Statistica: Applicazioni con S-PLUS e R. CEDAM, Padova Software: R

42 Notizie Orario delle lezioni: Giovedì 14:30-16:00 N21 Venerdì 10:30-12:00 INFO4 Docente: Bruno Scarpa Ufficio: Dipartimento di metodi quantitativi Stanza 124 Orario di ricevimento: Giovedì 16:30-17:30 url: Collaboratore: Ufficio: Paola Cerchiello Dipartimento di metodi quantitativi Stanza 110

43 Buon Lavoro!