Treatment of surveydata by multidimensionalcrm approach. Furio Camillo Alma Mater Studiorum Università di Bologna

Transcript

1 Treatment of surveydata by multidimensionalcrm approach Furio Camillo Alma Mater Studiorum Università di Bologna

2 What smultidimensionalcrm? A verylarge set of informations Old segmentation: based on behaviours New segmentation: based on ideas French approach, tandem approach Factorial reduction(pca, bca, mca) Clustering based on the «cleaned» variance Cluster description

3 Data mining and Micro Data Mining Under an applied point of view, there is not much difference among the operative and that strategic one marketing any more In the years seventy, many companies have realized some behavioral segmentations of their customer table. They are conscious that the observations of the customer behavior (and the segmentation) was only the observation of the EFFECTS: the behavior is an EFFECT not a CAUSE of the EFFECT! Behaviour=Effect = f ( Latent Causes )

4 A new strategy Behaviour=Effect = f ( Latent Causes ) 1. Hypothesis about the latent causes: which causes? 2. Observation by a survey of this potential causes (very important also the qualitative research: focus groups) 3. To Search the RULE (the link function) between effect and potential causes 4. Adopting this rules as TOOLS for the one to one marketing campaign

5 How manygroups? Whichalgorithm?

6 Donnerla couleurà une BasDonnés ausujetdesclients InternalDB External information (opinions, preferences, needs, sentiments, ideas) target variable Survey data

7 Donner la couleur à une BasDonnés au sujet des clients InternalDB External information (opinions, preferences, needs, sentiments, ideas) target variable 4 clusters = 4 policies Survey data

8 Donner la couleur à une BasDonnés au sujet des clients External information (opinions, preferences, needs, sentiments, ideas) target variable Internal DB Survey data

9 Strategie Etudier la B_données interne Echantillonage Survey plan: questionnaire, cati-cawi, etc. Golden questions! Reduction factoriel Clustering (hierarchique) Cluster interpretation Predictionde la «target variable» à le reste de la base

10 Strategie et methodes Etudier la B_données interne (stat multidim explorative) Echantillonage: stratifié par quotes?? Survey plan: questionnaire, cati-cawi, etc. (causal inference) Golden questions! (semiotique des questions, valeurs) Reduction factoriel(pca, bca, mca,..) Clustering (hierarchique, ward, CCC, pseudo-f) Cluster interpretation(t-test, chi2 test) Predictionde la target variableà le reste de la base (discriminant analysis) Wind case

11 Strategie et methodes Etudier la B_données interne (stat multidim explorative) Echantillonage: stratifié par quotes?? Survey plan: questionnaire, cati-cawi, etc. (causal inference) Golden questions! (semiotique des questions, valeurs) Reduction factoriel(pca, bca, mca,..) Clustering (hierarchique, ward, CCC, pseudo-f) Cluster interpretation(t-test, chi2 test) Predictionde la target variableà le reste de la base (discriminant analysis) Wind quest

12 Semiometrie What is a semiometricapproach and what's Semiometrie? The formal definition is "a long list of words and thousand of people, in all Europe, are asked to give a mark (a score) more or less high depending on the agreeable or disagreeable characteristic of the single word" (Lebart, Piron, Steiner, 2003). This definition is clearly the statement of a strict and elaborate experimental protocol, that describes the subject of many research on the field, repeated in space and in time, by which information about citizens of old Europe have been collected in a 210 word list. The composition of this list is indeed the real initial value of the method. The words, in fact, have been selected through a long selection and assessment process, in order to represent, directly or indirectly, the main values of western society. As described in detail in Lebart's, Piron'sand Steiner's work, the lexicon of reference for the selection work has been derived from a very wide literature, characterising the whole historic process of western thought and of its expression, using even the Old Testament's first five books.

13 DIPENDENZA EMOTIVA Atteggiamenti, idee, emozioni, immaginario: needs and attitudes 3 33 è principalmente per comunicare 2 Items omissis ATTRAZIONE EMOTIVA DISTANZA ETICA 82 il deve costare poco, importante che si possa telefonare I vas fanno spendere solo di + 50 il cell meno si nota e meglio è 4 70 faccio telefonate brevi per non spendere 21 Mi piace avere più numeri 61 Non vedo l'ora che si possa avere tutti i servizi PC sul cell 43 vorrei avere una tastiera vera per poter inviare sms + velocemente utilizzo il cell per inviare e ricevere e.mail RAGIONE CONTROLLO

14 pleasure DIPENDENZA EMOTIVA Semiometrie: needs and attitudes 60 3 DISTANZA ETICA idealism peace 2 Items omissis 14 mi piace sapere che in ogni momento potrei ricevere una chiamata 41 per me è importante avere auricolare e vivavoce, così faccio altro sublimation ATTRAZIONE EMOTIVA money materialism 4 43 vorrei avere una tastiera vera per poter inviare sms + velocemente pragmatism 11 Solo il cell solo per le emergenze -60 RAGIONE CONTROLLO 1 36 utilizzo il cell per inviare e ricevere e.mail duty

15 Il brand e gli altri brand, concorrenti o cooperanti: gli assi della MoV Ragione e relazione Emozione estetica assistenza affidabilita praticita dialogo capacita informazioni lavoroqual maturita onesta normelavoro utilitasoc prestigio forma simpatia bellezza eleganza Emozione solida Etica prestigio capacita maturita affidabilita forma simpatia praticita eleganza bellezza dialogo informazioni assistenza lavoroqual onesta normelavoro utilitasoc Pragmatismo assistito Emozione amica informazioni assistenza praticita affidabilita dialogo prestigio maturita lavoroqual normelavoro capacita utilitasoc onesta forma bellezza eleganza simpatia

16 Il brand e gli altri brand, concorrenti o cooperanti: gli assi della MoV Relazioni e fascino Etica solida assistenza informazioni forma eleganza dialogo simpatia lavoroqual affidabilita praticita capacita normelavoro bellezza onesta utilitasoc maturita prestigio Serietà efficiente Umanità affabile forma utilitasoc praticita eleganza onesta affidabilita capacita normelavoro maturita assistenza prestigio informazioni simpatia lavoroqual dialogo bellezza

17 umiltà Etica Tim Unicredit Wind Ragione e relazione Samsonite piacere Emozione estetica dovere H3G Intesa Vodafone MD sovranità Emozione da solidità

18 Strategie et methodes Etudier la B_données interne (stat multidim explorative) Echantillonage: stratifié par quotes?? Survey plan: questionnaire, cati-cawi, etc. (causal inference) Golden questions! (semiotiquedesquestions, valeurs) Reduction factoriel(acp, acb, acmu) Clustering (hierarchique, ward, CCC, pseudo-f) Cluster interpretation(t-test, chi2 test) The «French Approach» (SPAD)

19 What is the «aperitif» session for you? The scale 1 10

20

21 The Ward geometry

22

23

24 C C

25 data job.aperitivi_1; set job.aperitivi; if_n_<393; run; proc princomp data=job.aperitivi_1; var d10_1-d10_8; run; data job.aperitivi_2; set job.aperitivi_1; new1=.; mean=mean(of d10_1-d10_8); min=min(of d10_1-d10_8); max=max(of d10_1-d10_8); if d10_1=mean then new1=0; if d10_1<mean then new1=(d10_1-mean)/(mean-min); if d10_1>mean then new1=(d10_1-mean)/(max-mean); if d10_1=. then new1=0; run; data job.aperitivi_2; set job.aperitivi_1; array ar1 new1-new8; array ar2 d10_1-d10_8; mean=mean(of d10_1-d10_8); min=min(of d10_1-d10_8); max=max(of d10_1-d10_8); do over ar1; if ar2=mean then ar1=0; if ar2<mean then ar1=(ar2-mean)/(mean-min); if ar2>mean then ar1=(ar2-mean)/(max-mean); if ar2=. then ar1=0; end; run; proc means data=job.aperitivi_2; var d10_1-d10_8 new1-new8; run; proc princomp data=job.aperitivi_2 out=job.aperitivi_3; var new1-new8; run; proc cluster data=job.aperitivi_3 method=ward; var prin1-prin4; run; proc tree; run; proc cluster data=job.aperitivi_3 method=ward outtree=job.tree; var prin1-prin4; id id; run; proctreedata=job.treenclusters=5out=job.cluster5; id id; run; procsortdata=job.cluster5; by id; run; data job.aperitivi_4; merge job.aperitivi_3 job.cluster5(keep=id cluster); by id; run;

26 Strategie et methodes Etudier la B_données interne (stat multidim explorative) Echantillonage: stratifié par quotes?? Survey plan: questionnaire, cati-cawi, etc. (causal inference) Golden questions! (semiotique des questions, valeurs) Reduction factoriel(pca, bca, mca,..) Clustering (hierarchique, ward, CCC, pseudo-f) Cluster interpretation(t-test, chi2 test) Predictionde la target variableà le reste de la base (discriminant analysis)

27 Recoded scale A non-linear re-coding method (MG-Strategy) (endogenous for each respondent) +1 0 min mean max Original scale -1 Ref: F.Camillo MicroMacro Marketing 1999/1 Il Mulino

28 Linear Discriminant Analysis L obiettivo dell Analisi Discriminate (LDA) [proc discrim di sas] è quello di trovare una regola per assegnare correttamente soggetti sui quali abbiamo osservato alcune variabili al gruppo o alla popolazione alla quale appartengono utilizzando una combinazione di variabili di input che hanno un buon potere di discriminazione (discrimination function) Ciò viene ottenuto con un algoritmo che massimizza il rapporto = ϕ v' Bv v' Wv B Between covariance matrix W Within covariance matrix n f x) = i xi + b i=1 Questo approccio presenta delle limitazioni non trascurabili ( ν Linear Discriminant function

29 Limitations of LDA L Analisi Discriminate (LDA) fallisce quando l informazione discriminatoria non è nella media ma nella varianza. L Analisi Discriminate (LDA) è un metodo x2 parametrico inadeguato a cogliere strutture di dati non-lineari gruppo1 gruppo 2 x1

30 Feature Space Utilizzando le Kernel machines k < x, x φ : R n F è possibile proiettare i dati in un spazio dimensionalmente infinito F (Feature Space) in cui le distanze tra i soggetti sono le stesse dello spazio di partenza. Le Kernel machines permettono la costruzione di funzioni di separazioni non lineari nell input space che sono equivalenti a funzioni lineari nel Feature Space, >= ( φ( x), φ( x, )) Input Space Feature Space

31 Kernel Discriminant Analysis La Kernel Discriminant Analysis (KDA) è la proiezione della DA nel Feature Space; ed è ottenuta massimizzando il criterio di Fisher J F ( α) α' S α' S φ B φ W α α φ SB φ S W Between Covariance Matrix in Feature Space Within Covariance Matrix in Feature Space f n ( x) = αi k( xi, x) + b Kernel Discriminant function i=1 b bias α autovettore

32 Results Dall analisi effettuata si ottengono 4 funzioni discriminanti: I dati rivelano una forte componente non lineare che viene colta dal kernel di Cauchy Spazio fattoriale tradizionale Spazio fattoriale kernel

33 Colorazione Lista Interna Risultati Cluster Cluster Riclassificato Originario Percentuale di Corretta Classificazione: 51,2% Indice di performace: 217 = (51,2 / 23,5)

34 Confusion matrix LDA

35 Confusion matrix K-NN K=20

36 Confusion matrix KDA with Hybridization on K-NN K=20 Tasso di corretta classificazione = 73%

37 Problems and Future Developments 1. KDA è ancora una tecnica sperimentale che presenta dei problemi tecnologici: non è un processo automatico per ottenere una regola easy and fast. 2. Uso del linguaggio matriciale IML di SAS 3. Uso del Kernel machine presenta alcune scelte soggettive: la funzione KERNEL e alcuni parametri 4. La scelta del numero di confronti da effettuare nel K-NN

38 I kernel possono avere diverse forme funzionali = = n k jk jk k j r c x x ) ( exp ) ( ϕ ( ) + = = n k jk jk k j r c x x ) ( ϕ ( ) ) ( + = = n k jk jk k j r c x x ϕ ( ) ) ( + = = n k jk jk k j r c x x ϕ Gaussians Cauchy Multiquadric Inverse Multiquadric

39 Problems and Future Developments Nuovo approccio: teoria della complessità Prof. Bozdogan University of Tennessee dal primo dicembre su Cladag2005 Convegno di Parma (giugno scorso) ICOMP( b) = 2log L( b) + 2C1( F ^ 1) MOLTO IMPORTANTE: LA COLLABORAZIONE DI AZIENDE E ENTI. e le aziende cosa ne pensano?

40

41 DA A