Confronto di metodologie statistiche per l analisi di risultati di Customer Satisfaction

Transcript

1 Confronto di metodologie statistiche per l analisi di risultati di Customer Satisfaction S. Gorla: Citroën Italia S.p.A. e Consigliere di giunta AicqCN; E. Belluco: statistico, PG. Della Role: master Black Belt e E. Cascini: consulente six sigma In questo contesto di crisi l asse principale delle aziende si sta spostando sempre di più nella cura verso il Cliente e la sua fidelizzazione. Sempre più aziende iniziano a domandare al Cliente il suo parere e di conseguenza attivandosi in progetti di miglioramento. Ma è sempre chiaro a chi fa tali analisi quali sono gli aspetti principali che il Cliente considera importante per la sua soddisfazione? Questo è il quarto articolo su alcuni nuovi modelli per l analisi dei dati raccolti sulla Soddisfazione del Cliente tramite dei questionari di indagine (i precedenti sono: Una nuova metodologia per l interpretazione di dati di Customer Satisfaction, Nuova metodologia di analisi per la Customer Satisfaction e Ipotesi per un Calcolo della Qualità Attesa). Per fissare le idee poniamo alcuni punti fissi. Supponiamo di utilizzare un questionario per la misura della Customer Satisfaction, (per il nostro calcolo non ha nessuna importanza se l indagine è telefonica, cartacea o face to face). Il questionario è composto di circa quindici domande su alcuni aspetti della Qualità del Servizio erogata al Cliente e da una domanda di soddisfazione globale (Overall). E ininfluente la scala adottata nel questionario perché lavoreremo sui risultati dei vari momenti essenziali di contatto Cliente, utilizzeremo comunque una scala a 4 valori: 4 = Molto Soddisfatto (MS), 3 = Soddisfatto (S), 2 = Insoddisfatto (IS) e 1 = Molto Insoddisfatto (MIS). Supponiamo inoltre, che la domanda relativa alla Overall sia la prima, quindi istintiva e non posta alla fine del questionario, cioè ragionata. Come è noto i risultati relativi ad un Overall istintiva risultano leggermente inferiori a quelli ottenuti con un Overall ragionata. Quello che vogliamo calcolare e proporre è un modello per attribuire il contributo delle risposte alle singole domande alla Soddisfazione Globale, cioè quanto la singola domanda concorre al risultato della Overall, per far questo confronteremo varie metodologie di analisi statistiche. Scala di valutazione 1 4 con 1 Molto Insoddisfatto e 4 Molto Soddisfatto y è la Overall Satisfaction e x sono gli items delle altre domande x 1,1 x 1 x 1,2 x 1,3 x 2 x 1,4 x 2,1 x 2,2 x 2,3 y y 1 y 2 x 2,4 y 3 x n,2 x n,3 x n,4 x n,1 x n y 4 Figura 1: descrizione del modello utilizzato 1/12

2 Consideriamo l indagine, cioè i risultati del questionario, come facenti parte di un processo come illustrato nella figura 2. Abbiamo quindi n input x (le varie domande, con i loro sotto sotto livelli) e un output y (la Overall con i suoi sotto sotto livelli). I dati in nostro possesso sono delle percentuali di medie relative ai risultati di un certo numero di dealer. Non sono i risultati dei singoli rispondenti del singolo dealer. (ad esempio per la domanda sulla Overall abbiamo che il 69 % degli intervistati si ritiene Molto Soddisfatto = valore 4). Elencheremo allora alcune tipologie di analisi e ne faremo un piccolo confronto. Modelli a confronto A) Molte analisi dei risultati delle indagini, utilizzano la correlazione lineare ed il calcolo di R 2 (l importanza è appunto correlata a questo parametro) creando un apposita Satisfaction Map dove correlano Soddisfazione e Importanza. Figura 2: Satisfaction Map con q le singole domande Nella figura precedente è illustrata una Mappa Soddisfazione, calcolata con SPSS, utilizzando la media delle valutazioni sulle singole domande (il valore numerico pesato per la percentuale dei rispondenti) e il coefficiente R 2. B) Possiamo utilizzare il metodo del χ 2 () che fornisce un indice di dipendenza o di non dipendenza tra valori di percentuali. Il test del χ 2 è un test delle ipotesi che permette di confrontare le proporzioni di più campioni. Il test del chi-quadro serve a saggiare l'ipotesi che una certa discrepanza tra frequenze attese e frequenze osservate sia dovuta a: H : al caso (campionamento, imprecisione, errore distribuito, ecc.) H 1 : al fatto che il campione provenga da una popolazione diversa da quella da cui deriva la frequenza attesa. 2/12

3 Il χ 2 è così calcolato: χ 2 = Σ (frequenze osservate - frequenze attese) 2 /(frequenze attese) Le frequenze sono sempre frequenze assolute. Mai si possono utilizzare frequenze percentuali o relative. Le percentuali quindi vanno sempre ritrasformate in frequenze assolute moltiplicandole per il numero di osservazioni. Esiste una tabella di valori critici. Se il valore del χ 2 supera almeno quello tabulato per α =. si accetta l'h 1 e si rifiuta l'h. Valori critici di χ2 corrispondenti a P. e P.1 Probabilità di avere un χ2 maggiore Gradi di libertà α =. o % α =.1 o 1% Figura 3: distribuzione del chi quadro Consideriamo l ipotesi zero H : non esiste nessuna differenza di peso (contributo) delle singole domande sulla Soddisfazione Globale viceversa vale l ipotesi H 1. Confrontiamo le singole valutazioni (Q2, Q3,...) con la valutazione finale (Q1) e ricaviamo il valore di chi-square. Se questo metodo è valido, vale quindi la seguente regola: 3/12

4 - Valori alti di χ 2 indicano "poca relazione o indipendenza" tra le percentuali confrontate. - Valori bassi di χ 2 indicano " relazione o dipendenza" tra le percentuali confrontate. I risultati ottenuti (già ordinati in ordine di importanza) sono riportati nella tabella seguente: Domande χ 2 Q7,89 Q3 8,747 Q14 17,119 Q 18,74 Q2 24,126 Q9 3,286 Q4 3,847 Q12 1,82 Q1 8,64 Q1 111,31 Q13 121,748 Q11 188,416 Tabella 1: risultati del chi quadro La domanda Q7 risulta quindi la più importante quella cioè con il maggior contributo sull Overall. 2 distribuzione del 1 1 Q7 Q3 Q14 Q Q2 Q9 Q4 domande Q12 Q1 Q1 Q13 Q11 Figura 4: Pareto della distribuzione del chi quadro C) Se utilizziamo l analisi fattoriale multi variata, utilizzando il DOE, abbiamo una serie di valori pari a n di livelli n di fattori cioè 4 k con k = il numero dei fattori cioè 13 (le domande) e 4 i livelli (MS, S, Ins; MIns) ottenendo così simulazioni, un numero elevatissimo che neanche il software utilizzato riesce a processare, si limita a solo a 1. simulazioni. 4/12

5 D) La Partial Least Square La, Partial Least Square Regression, consiste in uno sviluppo ulteriore della PCR (PCR: Principal Component Regression), in quanto le componenti utilizzate sono derivate non solo dal set di predittori, ma anche dall insieme delle risposte. In questo modo è possibile massimizzare la varianza non solo delle X del nostro sistema, ma anche delle Y. Così facendo la scelta dei fattori (componenti principali), da impiegare per fare la regressione è fatta in modo ancora più mirato ed efficace. Questo perché non è detto che i componenti principali che spiegano la maggior parte della varianza dei predittori, siano anche i più rilevanti ai fini della regressione. La si differenzia dalla PCR perché utilizza il set di dati delle risposte in modo attivo durante l analisi statistica, ciò permette di bilanciare meglio l informazione contenuta nelle X e nelle Y, riducendo l effetto di grandi ma irrilevanti variazioni dei predittori, ai fini della modellizzazione del fenomeno. La regressione ai minimi quadrati parziali è probabilmente il metodo meno restrittivo delle varie estensioni multivariate del modello di regressione lineare multipla. Questa flessibilità permette di utilizzare tale metodo in situazioni dove l'uso dei metodi multivariati tradizionali è molto limitato, come quando ci sono meno osservazioni che predittori. Inoltre, la regressione ai minimi quadrati parziali può essere usata come strumento di analisi esplorativa per selezionare dei predittori idonei e per identificare gli outlier prima della regressione lineare classica. In generale, a fronte di una più complicata operatività, la fornisce comunque modelli più semplici di quelli costruibili con la PCR ed è in grado di dare risposte esaurienti anche in presenza di dati poco precisi, casi in cui la PCR può fallire. 8 7 Response Plot (response is Q1_2) 9 components Variable Fitted C rossv al,4,3 Confronto tra i valori di regressione di Q1 e Q2 Calculated Response ,2,1, Valori -,1 -,2 -,3 Q2_1 Q2_2 Q2_3 Q2_4 1 -,4 -, Q2_4 Q2_ Actual Response ,6 Q1_1 Q1_2 Q1 Q1_3 Q1_4 Q2_2 Q2_1 Q2 Confronto tra i valori di regressione di Q1 e Q12 Model Selection Plot (response is Q1_1),8,8 optimal Variable Fitted C rossv al,8,6,4 R-Sq,7,7,2, Valori -,2 Q12_1 Q12_2 Q12_3 Q12_4,6,6 -,4 -,6 -,8 Q12_3 Q12_ Components , Q1_1 Q1_2 Q1 Q1_3 Q1_4 Q12_1 Q12_2 Q2 Figura : Esempi di grafici calcolati per con Minitab e Excel /12

6 E) Regression Analisys La statistica cui facciamo riferimento riguarda l analisi per regressioni multiple. Anziché trovare la retta che giunge il più vicino possibile a ciascuno di n punti posti in uno spazio bidimensionale, il problema della regressione multipla diventa quello di trovare l iperpiano k-dimensionale che giunge il più vicino possibile a n punti posti in uno spazio di dimensioni k+1. Nel caso di due variabili indipendenti, ad esempio, l'analisi della regressione multipla individua un piano che minimizza le distanze rispetto ad n punti posti in uno spazio tridimensionale Per una singola osservazione Y i il modello della regressione multipla è: Y i = β + β 1 X 1j + β 2 X 2j + + β k X kj + ε i In caso di due variabili indipendenti, il modello di regressione multipla è: Y i = β + β 1 X 1j + β 2 X 2j + ε i Nell'equazione precedente, il coefficiente parziale della regressione multipla β denota il valore atteso della variabile dipendente quando tutte le variabili indipendenti sono uguali a zero. Il coefficiente β j denota l'incremento atteso di Y in corrispondenza di un incremento unitario di X j, quando tutte le altre variabili indipendenti sono tenute costanti, ε è una variabile aleatoria avente le stesse proprietà del termine d errore del modello della regressione semplice. I coefficienti β sono chiamati coefficienti parziali di regressione con: β = intercetta β 1 = variazione di Y in base alla variabile X 1 tenendo costanti le variabili X 2, X 3,,X k β 2 = variazione di Y in base alla variabile X 2 tenendo costanti le variabili X 1, X 3,,X k β k = variazione di Y in base alla variabile X k tenendo costanti le variabili X 1, X 2,,X k-1 ε i = errore in corrispondenza dell osservazione i Residual Plots for Q1_1 Normal Probability Plot Versus Fits Percent 99, N 188 AD,432 P-Value,32 Residual 1-1,1-1 Residual Fitted Value 8 Histogram Versus Order 4 1 Frequency Residual Residual Observation Order Figura 6: Grafico relativo alla analisi di regressione 6/12

7 Conclusioni Riportiamo ora, il confronto dei risultati relativi alle analisi effettuate con alcune delle metodologie sopra elencate. Confronto tra A) e B) 1, Correlazione e Fitted Line Plot = 17,64 -,38 9, 8, 22 2 S 4,78216 R-Sq 28,4% R-Sq(adj) 21,3% 7, 18 valori normalizzati 6,, 4, 3, , 1 1, 8, Q2_1 Q3_1 Q4_1 Q_1 Q7_1 Q9_1 Q1_1 Q11_1 Q12_1 Q13_1 Q14_1 Q1_1 Domande Distribution Plot R 2 e,9,8,7 Distrib utio n Mean StDev Normal 14,72,388 Distrib utio n df C hi-square 12,6 Density,,4,3,2,1, 1 1 X Figura 7: Grafici calcolati per R 2 e con Minitab Confronto tra A) e D) 1, Correlazione e Fitted Line Plot = 13,7 + 21,11 9, 8, 7, 22 2 S,442 R-Sq,2% R-Sq (adj),% 6, 18, valori normalizzati 4, 3, 2, 1, regressione , -1, Q2_1 Q3_1 Q4_1 Q_1 Q7_1 Q9_1 Q1_1 Q11_1 Q12_1 Q13_1 Q14_1 Q1_1 1-2, -3, -4, Domande 8 -, -,2,,2,,7,1,12 7/12

8 Distribution Plot e Normal 7 6 M ean StDev 14,72,388,4833,7937 Density X Figura 8: Grafici calcolati per R 2 e con Minitab Confronto tra A) e E) 1, Correlazione e p value della regressione Fitted Line Plot = 17,1-6,484 P value 9, 8, 22 2 S,262 R-Sq 13,% R-Sq(adj) 4,9% 7, 18 valori normalizzati 6,, 4, 3, p value , 1 1, 8, Q2_1 Q3_1 Q4_1 Q_1 Q7_1 Q9_1 Q1_1 Q11_1 Q12_1 Q13_1 Q14_1 Q1_1 Domande,,1,2,3,4, P value,6,7,8,9 1,4 1,2 Distribution Plot e p Value Normal M ean StDev 14,72,388,36,347 1, Density,8,6,4,2, 1 1 X Figura 9: Grafici calcolati per R 2 e p value con Minitab 8/12

9 Confronto tra B) e D) 1 Correlazione e Fitted Line Plot = 34, , S 3,878 R-Sq 18,8% R-Sq(adj) 1,7% 6 1 valori normalizzati Q2_1 Q3_1 Q4_1 Q_1 Q7_1 Q9_1 Q1_1 Q11_1 Q12_1 Q13_1 Q14_1 Q1_ Domande -, -,2,,2,,7,1,12 Distribution Plot e 7 6 Distribution Mean StDev Normal,4833,7937 Distribution df Chi-Square 12 Density X Figura 1: Grafici calcolati per e con Minitab Confronto tra B) e E) Correlazione e p value della regressione Fitted Line Plot P value =,379 -,243 1, 9, 8,,9,8,7,6 S,326 R-Sq,2% R-Sq(ad j),% valori normalizzati 7, 6,, 4, p value P value,,4,3,2 3,,1 2,, 1, 1 1 2, Q2_1 Q3_1 Q4_1 Q_1 Q7_1 Q9_1 Q1_1 Q11_1 Q12_1 Q13_1 Q14_1 Q1_1 Domande 9/12

10 1,4 1,2 Distribution Plot chi saquare e p value D istributio n M ean StD ev N o rmal,36,3478 D istributio n df C hi-square 12 1, Density,8,6,4,2, 1 1 X Figura 11: Grafici calcolati per e p value con Minitab Confronto tra D) e E) 1 Correlazione p value della regressione e Fitted Line Plot P value =,488-2, ,9,8,7 S,29346 R-Sq 16,1% R-Sq(adj) 7,7%,6 valori normalizzati p value P value,,4, Q2_1 Q3_1 Q4_1 Q_1 Q7_1 Q9_1 Q1_1 Q11_1 Q12_1 Q13_1 Q14_1 Q1_1,2,1, -4 Domande -, -,2,,2,,7,1,12 Distribution Plot p value e Normal 7 6 Mean StDev,36,3478,4833,7937 Density ,,, X 1, 1, Figura 12: Grafici calcolati per p value e con Minitab 1/12

11 p Value Regressione regressione S Prodotto Q2_1 2,8 24,126,81,37 4,764 18,67 Q3_1 11, 8,747,233 -,19 19,961-1,828 Q4_1 21,1 3,847,134,1 2,186 68,342 Q_1 2,4 18,74,18,118 39,276 4,111 Q7_1 16,6,89,47 -,11 22,8-1,61 Q9_1 1, 3,286,47,4 41,247 17,172 Q1_1 16, 8,64,17,22 12,261 31,6 Q11_1 9,3 188,416,142, , ,79 Q12_1 21,7 1,82,4,12 73,649 14,62 Q13_1 8, 121,748,424,42 13,214 4,97 Q14_1 12,7 17,119,761 -,36 3,44-7,827 Q1_1 8,1 111,31,88,14 12,61 93,94 somma 176,7 694,73 4,386,6 876, ,718 Media 14,72 7,896,366, 73,41 3,726 sigma,389 7,9,3,8 4,331 63,173 Tabella 2:Risultati numerici delle analisi effettuate Rating p Value regressione regressione S P 1 Q12_1 Q7_1 Q12_1 Q12_1 Q3_1 Q14_1 2 Q4_1 Q3_1 Q_1 Q_1 Q7_1 Q3_1 3 Q2_1 Q14_1 Q4_1 Q11_1 Q14_1 Q7_1 4 Q_1 Q_1 Q11_1 Q4_1 Q_1 Q9_1 Q7_1 Q2_1 Q1_1 Q1_1 Q9_1 Q2_1 6 Q1_1 Q9_1 Q3_1 Q9_1 Q2_1 Q1_1 7 Q14_1 Q4_1 Q7_1 Q13_1 Q4_1 Q13_1 8 Q3_1 Q12_1 Q9_1 Q2_1 Q12_1 Q_1 9 Q9_1 Q1_1 Q13_1 Q1_1 Q1_1 Q4_1 1 Q11_1 Q1_1 Q14_1 Q7_1 Q1_1 Q1_1 11 Q1_1 Q13_1 Q2_1 Q3_1 Q13_1 Q12_1 12 Q13_1 Q11_1 Q1_1 Q14_1 Q11_1 Q11_1 Tabella 3: Variazione del rating delle domande in funzione dell analisi effettuata Indichiamo nella figura sopra anche il valore del prodotto e della somma dei rispettivi indici (calcolo non proprio permesso ed ortodosso) per evidenziare ancora lo shift delle domande. Se consideriamo i metodi analizzati (per semplicità consideriamo A), B) D) e E)) ed i relativi risultati possiamo associare ad ogni domanda un indice. In questo modo veniamo a creare un vettore della domanda associando ad esso uno spazio vettoriale a 4 D. Con i, j, k, l gli indici relativi rispettivamente a R 2, χ 2, p Value e possiamo scrivere: Q2_1= (i, j, k, l) = ( 2.8, 24.1,.81,.37) La Overall può essere scritta come sommatoria delle singole domande: OV = Σ i Q i 11/12

12 Passando alla notazione matriciale abbiamo: Q i = i j K l allora la OV può essere scritta come: Q2_1 i Q1_1 i Q2_1 i +.+ Q1_1 i OV = Q2_1 j +..+ Q1_1 j = Q2_1 j +.+ Q1_1 j Q2_1 k Q1_1 k Q2_1 k + + Q1_1 k Q2_1 l Q1_1 l Q2_1 l + + Q1_1 l Ottenendo così OV = Ad esempio, riportando su di un grafico 3 D solo per le prime tre dimensioni si ottiene: 3D Scatterplot of vs vs P value 3D Scatterplot of vs vs P value Q12 OV 2 Q2 Q , Q4 Q13 1 1,2,,7 P value , 1, 3, P value 4, Dai grafici riportati sopra e dalla tabella riassuntiva si può evidenziare che i metodi utilizzati comportano dei risultati differenti. Si è considerato solo il confronto con quattro metodologie e utilizzando il passaggio alla notazione vettoriale si è trovato un metodo differente per calcolare i pesi e rappresentare la Soddisfazione Globale. 12/12