Statistica per le ricerche di mercato

Transcript

1 Statistica per le ricerche di mercato A.A. 2012/13 Dr. Luca Secondi 15. Tecniche di analisi statistica multivariata per la segmentazione del mercato Cluster Analysis 1

2 Cluster analysis La cluster analysis è una tecnica che conduce alla classificazione delle unità statistiche in gruppi (cluster) aventi le proprietà di omogeneità interna e disomogeneità esterna (tra i gruppi). Nel marketing viene frequentemente applicata a supporto di decisioni sia strategiche che operative. 1. Analisi di segmentazione e studio del comportamento della clientela. Ogni ricerca di segmentazione si propone di identificare gruppi di entità (persone, mercati, organizzazioni) che condividano determinate caratteristiche (benefici ricercati nel prodotto/servizio, attitudini, propensione all acquisto, preferenze nei confronti dei diversi media). E evidente in tal senso l utilità potenziale di una metodologia di classificazione automatica. 2. Sviluppo e ricerca di opportunità per potenziali nuovi prodotti. Attraverso la classificazione di marchi e prodotti, si possono determinare delle nicchie competitive all interno di una più ampia struttura di mercato. Un azienda può esaminare la gamma corrente delle sue offerte in relazione a quella dei concorrenti, determinando fino a che punto un prodotto corrente o potenziale è posizionato isolatamente o insiste su un area ad alta densità competitiva. In questo tipo di applicazione, la cluster analysis si affianca e integra le tecniche di mapping multidimensionale, come il multidimensional scaling, l analisi discriminante e la factor analysis. 3. Scelta di aree-test di mercato:.tali applicazioni riguardano l identificazione di insiemi relativamente omogenei di aree-test, in modo da consentire una generalizzazione dei risultati ottenuti in un area alle rimanenti che appartengono al medesimo cluster, riducendo in questo modo il numero complessivo di aree-test necessarie. 2

3 Cluster analysis La cluster analysis ha l obiettivo di raggruppare un insieme di unità in un certo numero di gruppi sulla base delle loro similarità in relazione alle p variabili contenute nella matrice dei dati X. I dati di partenza per l implementazione di una analisi cluster possono essere sia la matrice dei dati X (di dimensione nxp) che la matrice delle distanze D (di dimensione nxn) calcolata utilizzando, a seconda della natura delle variabili, un indice appropriato (ad esempio, per caratteri quantitativi, la distanza Euclidea). Nel processo classico di segmentazione per omogeneità la cluster analysis rappresenta il secondo step. Come già accennato, l analisi delle componenti principali (ACP) applicata in via preliminare alle variabili disponibili nella matrice dei dati, ne costituisce invece la prima fase. Se k componenti principali tengono conto di una percentuale elevata della varianza totale, si può effettuare la clusterizzazione direttamente sugli scores di tali componenti principali, che costituiscono il segnale degli aspetti rilevanti. 3

4 Cluster analysis L analisi cluster (o analisi dei gruppi) consente la suddivisione del campione di unità in due o più gruppi con caratteristiche di coesione interna (le unità assegnate ad un medesimo gruppo devono essere tra loro simili) e di separazione esterna (i gruppi devono essere il più possibile distinti). I metodi di formazione dei gruppi vengono distinti in gerarchici e non gerarchici. I metodi gerarchici si distinguono in metodi di tipo agglomerativo e metodi di tipo divisivo. I metodi di tipo agglomerativo (o bottom up) consentono di ottenere una famiglia di partizioni, con un numero di gruppi da n a 1, partendo da quella banale in cui tutte le unità sono distinte per giungere a quella in cui tutti gli elementi sono riuniti in un unico gruppo. I metodi di tipo divisivo (o top-down) che partono dall insieme di tutte le unità statistiche ed effettuano successive separazioni in gruppi di tale insieme. I metodi non gerarchici forniscono un unica partizione delle n unità in g gruppi, con g fissato a priori. 4

5 Cluster analysis Metodi gerarchici agglomerativi [MGA] Il dendrogramma Output principale di una clusterizzazione gerarchica 5

6 Cluster analysis Metodi gerarchici agglomerativi [MGA] I metodi gerarchici agglomerativi procedono per agglomerazioni successive delle unità statistiche. La procedura parte da n gruppi (formati cioè da un solo individuo/una sola unità statistica), per poi passare a n-1 gruppi, dei quali n-2 formati da un solo individuo e 1 formato da due individui; passa poi a n-2 gruppi, n-3, n-4, fino ad arrivare a un unico gruppo costituito da tutte le n unità statistiche del collettivo. L obiettivo ovviamente non è quello di arrivare ad un unico gruppo costituito da tutte le unità, bensì quello di raggruppare le n unità statistiche in un certo numero (limitato) di gruppi. La scelta del numero di gruppi dovrà scaturire da un soddisfacente compromesso tra la necessità di mantenere una sufficiente omogeneità all interno dei gruppi e quella di tenere basso tale numero, in modo da non rendere eccessivamente articolata l interpretazione del raggruppamento (evitare quindi nelle analisi di mercato la proliferazione di differenti strategie di marketing). 6

7 Richiamo della nozione di misura di distanza La partizione dell insieme di unità in vari sottogruppi avviene come si è appena visto per passi, utilizzando una misura di distanza (o di similarità) tra le unità che tenga conto delle informazioni a disposizione contenute nell insieme di p variabili osservate. Tale misura può assumere espressioni diverse a seconda della natura delle variabili prese in considerazione. Quando le variabili sono quantitative si potrà per esempio utilizzare la distanza Euclidea (che costituisce un caso specifico della distanza di Minkowski per λ=2) p d = x x ir ik rk k = 1 λ 1/ λ p d = x x ( ) ir ik rk k = 1 2 1/2 Quando le variabili sono qualitative si potrà per esempio utilizzare il coefficiente di Jaccard (indice di similarità) Quando si presenta la situazione in cui le variabili osservate su un campione di individui sono miste, un indice di similarità utilizzato è l indice di Gower. s(a,b) = s(b, A); s(a, B) > 0; s(a, B) cresce al crescere della similarità fra A e B. Una volta calcolata la distanza (o la similarità) tra tutte le possibili coppie di unità, si ottiene la matrice di distanze (o di similarità). 7

8 Cluster analysis Metodi gerarchici agglomerativi [MGA] 1. Si parte da n gruppi, ognuno dei quali è formato da una unità del collettivo. La distanza tra i gruppi è fornita dalla matrice delle distanze D 0 d12 d13... d1 n 0 d23... d 2n D = dn 1, n 0 2. Si cerca il minimo valore all interno della matrice delle distanze (escluso la diagonale principale che contiene tutti valori pari a zero). Esso identifica le due unità più simili, cioè quelle che presentano profili di riga più omogenei nella matrice dei dati. 3. Si procede alla fusione delle unità corrispondenti a tale valore minimo. Poiché le due unità oggetto di fusione non esistono più come soggetti singoli vengono eliminate dalla matrice delle distanze D le due righe e le due colonne corrispondenti, ottenendo una nuova matrice delle distanze D n-2,n-2 4. Si aggiunge una nuova riga e una nuova colonna che contiene le distanze tra il nuovo gruppo ottenuto dalla fusione dei due precedenti e tutte le altre unità che continuano a esistere singolarmente, in modo da ottenere una nuova matrice D n-1,n-1 5. Si torna a eseguire lo step 2 e seguenti in modo iterativo, riducendo la matrice D di una unità a ogni iterazione, fino a quando si arriva alla configurazione finale costituita da un solo gruppo formato da tutte le n unità del collettivo preso in esame. 8

9 Cluster analysis Metodi gerarchici agglomerativi [MGA] Analisi dei gruppi MGA Come eseguire lo step 4? [Come ricalcolare ad ogni iterazione la riga e la colonna da aggiungere alla matrice che contengono le distanze tra il gruppo appena formato e tutte le altre unità (o gruppi già pre-esistenti)] In generale, occorre definire un criterio per la formazione dei gruppi e quindi introdurre un criterio che permetta di calcolare le distanze tra gruppi o tra un unità e un gruppo Gli algoritmi gerarchici proposti in letteratura sono molteplici e si differenziano unicamente per il criterio che regola la valutazione delle distanze tra i gruppi. Tra i criteri più utilizzati vi sono: Criterio del legame singolo (Single Linkage) Criterio del legame completo (Complete Linkage) Criterio di McQuitty Criterio del legame medio Metodo del centroide Metodo di Ward 9

10 Cluster analysis Metodi gerarchici agglomerativi [MGA] Notazione: C k : K-esimo gruppo (originariamente k-esima unità); N k : numero di unità nel k-esimo gruppo (originariamente N k =1); D KL : misura di distanza tra il gruppo C K e il C L Si ipotizzi che D KL sia il minimo valore nella matrice delle distanze e dunque che i gruppi C K e C L vengano fusi in un unico gruppo chiamato C M 10

11 Cluster analysis Metodi gerarchici agglomerativi [MGA] Criterio del legame singolo (Single linkage o del vicino più prossimo nearest-neighbour) La distanza fra un nuovo cluster e un caso individuale (o un altro cluster precedentemente formatosi) è pari alla distanza minima fra il caso individuale stesso e un caso nel cluster. In altre parole in ogni fase dell algoritmo la distanza tra due cluster è data dalla distanza tra i loro punti più vicini. Indicato con J un generico gruppo preesistente si ha: D JM = min(d JK,D JL ) Vantaggi: permette di individuare gruppi di qualsiasi forma, purché ben separati Svantaggi:effetto di concatenamento, cioè ad ogni fusione le unità non ancora classificate tendono ad essere incorporate in gruppi già esistenti piuttosto che formare nuovi gruppi. 11

12 Cluster analysis Metodi gerarchici agglomerativi [MGA] Criterio del legame completo (Complete linkage o del vicino più lontano ) La distanza fra due cluster è data dalla distanza fra i loro punti più lontani. Per il gruppo enerico preesistente J si ha: D JM = max(d JK,D JL ) A differenza del metodo del legame singolo, il metodo del legame completo è molto influenzato dalla presenza di valori anomali, tanto da suggerire una preventiva analisi ad hoc. Tende inoltre a produrre molti gruppi di dimensioni simili.

13 Cluster analysis Metodi gerarchici agglomerativi [MGA] Criterio di McQuitty (media aritmetica semplice) Le distanze tra il nuovo gruppo risultante dalla fusione e tutti i preesistenti sono definite come la media aritmetica semplice tra le distanze che, prima della fusione, avevano i gruppi oggetto di fusione con tutti gli altri. Per il generico gruppo preesistente j si ha cioè: D JM = (D JK + D JL ) / 2 Criterio del legame medio (media aritmetica ponderata) Le distanze tra il nuovo gruppo risultante dalla fusione e tutti i preesistenti sono definite come media aritmetica tra le distanze che, prima della fusione, avevano i gruppi oggetto di fusione con tutti gli altri, ponderata con le numerosità dei gruppi oggetto di fusione. Per il generico gruppo preesistente J si ha: D JM = (D JK N K + D JL N L ) / N M Si collocano in posizione intermedia, tra quello del legame singolo e quello del legame completo, per quanto attiene a vantaggi e svantaggi. Inoltre tende a unire gruppi con bassa varianza interna e a produrre gruppi con varianze interne simili 13

14 Cluster analysis Metodi gerarchici agglomerativi [MGA] Criterio del centroide (distanza euclidea tra i centroidi) Il criterio del centroide fa parte del gruppo di criteri (insieme anche al criterio di Ward che discuteremo a breve), in cui i gruppi vengono definiti a partire, invece che dalla matrice delle distanze, dalla matrice dei dati X contenente i profili delle n unità secondo p variabili quantitative. Le distanze tra i gruppi è posta pari alla distanza euclidea tra i centroidi o baricentri, costruiti dai valori medi delle p variabili considerate, calcolati sulle unità appartenenti ai gruppi. Anche in questo caso vengono fusi i gruppi che presentano distanza minima. Rispetto alla maggior parte dei metodi gerarchici, il metodo del centroide risulta più robusto riguardo all influenza dei valori anomali. 14

15 Cluster analysis Metodi gerarchici agglomerativi [MGA] Metodo di Ward (scomposizione della devianza) Si basa sulla scomposizione della devianza totale in devianza entro i gruppi e devianza tra i gruppi. A ogni iterazione viene considerata l unione di tutte le possibili coppie di gruppi e viene fusa la coppia che dà luogo alla minore varianza entro i gruppi. Pensato originariamente per applicazione su distanze euclidee, può essere utilizzato con altre misure di distanza. Ha il difetto di produrre gruppi di dimensioni pressoché analoghe e di essere molto sensibile agli outliers. 15

16 Cluster analysis Metodi gerarchici agglomerativi [MGA] Il dendrogramma Il processo di fusione realizzato impiegando uno dei metodi appena descritti può essere rappresentato graficamente attraverso il dendrogramma che riporta su due assi, le unità che partecipano al processo di fusione e il livello di distanza a cui avviene la fusione tra i diversi gruppi che si vengono formando per agglomerazioni successive. Dall esame del dendrogramma è possibile ricavare utili indicazioni riguardo al numero dei gruppi da considerare. Ai livelli in cui l'indice di aggregazione cresce vistosamente e' chiaro che la fusione avviene a un costo elevato e quindi e' conveniente fermare il processo. Non esistono comunque dei criteri oggettivi per determinare il numero dei gruppi. È il principale strumento di interpretazione dell output di cluster analysis gerarchica che costituisce un modo efficace di visualizzare le fasi della procedura. 16

17 Cluster analysis Metodi gerarchici agglomerativi [MGA] Il dendrogramma A B C D E A D E BC A 0 0,26 0,68 0,45 0,44 A 0 0,45 0,44 0,68 B 0 0,11 0,39 0,68 D 0 0,82 0,52 C 0 0,52 0,19 E 0 0,68 D 0 0,82 BC 0 E 0 D BC AE BC AED D 0 0,52 0,45 BC 0 0,68 BC 0 0,68 AED 0 AE 0 Esempio criterio del legame completo (Bracalente et al. Pag.240) d D=0.68 D=0.44 D=0.45 D=0.11 B C E A D unità legame completo

18 Cluster analysis Metodi gerarchici agglomerativi [MGA] Una classificazione gerarchica produce come risultato una successione di partizioni di n classi, n 1 classi, e così via no a una classe sola. Il fatto di non produrre un solo raggruppamento e' un vantaggio dei metodi gerarchici perché permette di studiare diverse strutture possibili per i dati, con un numero diverso di gruppi. Spesso il numero dei gruppi e' incognito e lo studio del dendrogramma e' utile per fare delle congetture. Tuttavia ogni indice di aggregazione produce una gerarchia diversa e ciò talvolta può creare delle difficoltà di interpretazione. Se la diversità dei risultati non e' rilevante, ossia le partizioni indotte sono pressappoco le stesse, si può pensare che esistano dei gruppi naturali. Ma a volte criteri diversi forniscono delle descrizioni abbastanza diverse dei dati e quindi sono difficilmente accordabili. Quindi conviene provare sempre più criteri e misure di distanza

19 Scatter plot Criterio del legame singolo var ind1 ind2 ind4 ind5 ind var2 ind3 L2 dissimilarity measure Dendrogram for _clus_1 cluster analysis L2 dissimilarity measure Criterio del legame completo Dendrogram for _clus_2 cluster analysis L2 dissimilarity measure Criterio del legame medio Dendrogram for _clus_3 cluster analysis

20 Cluster analysis Metodi gerarchici agglomerativi [MGA] Il dendrogramma riportato nella slide seguente fa riferimento alla clusterizzazione di un insieme di clienti di un azienda industriale, raggruppati sulla base di una serie di valutazioni sugli elementi del servizio. Le linee verticali segnalano l unione di due cluster, le posizioni di tali linee nelle scale indicano la distanza alla quale tali cluster vengono aggregati; le distanze sono riscalate per comodità di rappresentazione, assumendo un valore tra 1 (distanza minima) e 25 (distanza massima). Nell esempio: i clienti aggregati nelle prime fasi dalla procedura sono il 4, il 12 e l 1, il 2 e il 27, il 3 e il 5; nell ultima fase il cluster contenente i casi dal 4 al 22 (nella sequenza presentata in verticale) viene aggregato al cluster contenente i rimanenti casi (nel grafico, dal 18 al 38). Le ripartizioni in un dato numero di cluster possono essere ottenute sezionando verticalmente il dendrogramma; i cluster possono essere individuati muovendosi da destra verso sinistra. L output di una procedura gerarchica non contiene alcun indicatore numerico che supporti direttamente la scelta del numero corretto di cluster. Nel dendrogramma si può notare come la terz ultima aggregazione (che riduce i cluster da cinque a quattro) avvenga a livello di distanza tra i cluster relativamente elevata rispetto sia alle precedenti (che riducono il numero dei cluster fino a cinque) sia rispetto alle successive (che portano a soluzioni in due e tre cluster). 20

21 Cluster analysis Metodi gerarchici agglomerativi [MGA] 21

22 Cluster analysis Metodi gerarchici agglomerativi [MGA] Distanza TAGLIO: 2 gruppi Unità 22

23 Cluster analysis Metodi gerarchici agglomerativi [MGA] 0.9 BILANCI.STA Legame Singolo Distanze Euclidee 4.0 BILANCI.STA Legame Completo Distanze Euclidee Distanze Legami O Q L H F I D B P U T S R N V M E G C A Distanze Legami T S O P R N Q U V M H F L I D B G E C A 9 BILANCI.STA Metodo di Ward Distanze Euclidee Distanze Legami U Q V M T S O R N P E H F L I D B G C A 23

24 Cluster analysis Metodi non gerarchici I metodi non gerarchici (MNG) effettuano, attraverso procedure iterative, il raggruppamento direttamente nel numero prefissato di gruppi Il metodo delle k medie (k-means) costituisce l algoritmo di classificazione non gerarchico di uso più comune ed è implementato nei principali packages statistici. Tale algoritmo conduce alla classificazione delle unità statistiche in k gruppi distinti, con k fissato a priori. L algoritmo che conduce alla formazione dei gruppi è caratterizzato da una procedura iterativa, che ammette nelle varie fasi una riallocazione degli elementi già clusterizzati, in modo da consentire un progressivo miglioramento delle partizioni ottenute. Tali metodi assumono che il numero desiderato di gruppi sia fissato a priori. L ipotesi non è in alcun modo limitante, in quanto vi è la possibilità di ripetere rapidamente le analisi più volte cambiando la richiesta del numero di cluster e confrontando le soluzioni attraverso l esame di opportuni indicatori statistici. 24

25 Cluster analysis Metodi non gerarchici Algoritmo K-means 1. Il primo passo di tale metodo consiste nello specificare k punti iniziali (o seeds, detti anche semi o punti origine) ossia k punti nello spazio p-dimensionale: un punto iniziale per ciascun gruppo da costituire. 2. Ciascuna delle n unità viene assegnata provvisoriamente a un cluster il cui seed risulta il più vicino (sulla base della distanza minima). 3. Vengono calcolati i baricentri (o centroidi) dei k gruppi provvisori appena costruiti, cioè i valori medi delle p variabili nei gruppi. 4. Se la distanza minima non è ottenuta in corrispondenza del centroide del gruppo di appartenenza, si procede a riallocare l unità al cluster corrispondente al centroide più vicino. 5. Si procede in modo iterativo (rieseguendo lo step 3) a ricalcolare i centroidi e riallocare le unità fino a che non si raggiunge una configurazione stabile, ossia fino a che tutte le unità vengono riassegnate allo stesso gruppo del passo precedente. 25

26 Cluster analysis Metodi non gerarchici Algoritmo K-means 7 Dati di partenza Algoritmo K-means 7 Si inseriscono i due seed e si assegnano le unità Si calcolano i centroidi dei gruppi provvisori e si riassegnano le unità Si ricalcolano i centroidi e si riassegnano le unità; non essendoci modifiche nel raggruppamento il processo termina

27 Cluster analysis Metodi non gerarchici Il problema principale dell analisi è legato alla determinazione del numero di cluster (segmenti) più opportuno. Gli elementi utili per la scelta e l interpretazione della soluzione di cluster analysis non gerarchica sono: 1. numerosità delle osservazioni (dimensioni) di ciascun cluster; 2. tabella di analisi della varianza (o simili); 3. caratteristiche dei cluster individuati. Nel caso in cui uno o più di questi criteri non forniscano indicazioni soddisfacenti, occorre rilanciare la procedura di cluster analysis non gerarchica, modificando il numero di cluster richiesti. 27

28 Cluster analysis Metodi non gerarchici 1. Numerosità delle osservazioni (dimensioni) di ciascun cluster Le dimensioni di ciascun cluster dovrebbero essere preferibilmente omogenee o almeno non inferiori ad un limite che definisce la significatività operativa del cluster stesso (segmento). La presenza di segmenti formati da un numero ridottissimo di unità potrebbe segnalare la presenza di dati atipici (outlier) che andrebbero eliminati prima di lanciare la procedura o comunque trattati separatamente. Nella tabella è riportata la numerosità dei gruppi nella cluster analysis condotta sui cinque fattori ottenuti nell esempio esempio acquisto abbigliamento formale (ipotizzando di aver richiesto 3 cluster). Il risultato appare accettabile in quanto, tenendo conto del numero di osservazioni del data base di partenza (di cui occorre verificare la significatività statistica), la ripartizione nei cluster appare relativamente omogenea. 28

29 Cluster analysis Metodi non gerarchici 1. Numerosità delle osservazioni (dimensioni) di ciascun cluster Numerosità dei cluster Numero di casi in ogni cluster Cluster 1 28 Cluster 2 35 Cluster 3 37 Validi 100 Mancanti 0 29

30 Cluster analysis Metodi non gerarchici 2. Tabella di analisi della varianza I software applicativi forniscono alcune tabelle utili per valutare la qualità statistica della clusterizzazione. In genere viene proposta la tabella di analisi della varianza, che permette, tramite un test F su ciascuna variabile, di valutare la significatività della clusterizzazione. Le variabili che mostrano un livello di significatività osservato del test F inferiore alla soglia predefinita (tipicamente il 5%) presentano medie statisticamente diverse nei cluster. Nell esempio, il fattore prezzo non ha un importanza differenziata nei vari cluster (p-value superiore al 5%), potrebbe essere opportuno, compatibilmente con la significatività numerica dei cluster, cercare una soluzione con un numero più elevato di segmenti. 30

31 Cluster analysis Metodi non gerarchici 2. Tabella di analisi della varianza ANOVA Cluster Errore Media dei quadrati Gradi libertà Media dei quadrati Gradi libertà F Signif. Significatività esterna Praticità prodotto/ processo d acquisto Qualità prodotto Riconoscibilità interna Prezzo

32 Cluster analysis Metodi non gerarchici 2. Tabella di analisi della varianza Una soluzione di cluster analysis è accettabile quando tutte le variabili mostrano un test F significativo (e possibilmente omogeneo nel valore). Aumentando il numero di cluster, la significatività migliora globalmente. Se, nonostante l aumento del numero di cluster, il livello di significatività di una singola variabile non migliora, è possibile che tale variabile sia in realtà tendenzialmente omogenea nei suoi valori su tutto il campione, pertanto è preferibile eliminarla dalla procedura di clusterizzazione. Particolare attenzione deve essere posta sulla significatività delle variabili più rilevanti per la segmentazione dal punto di vista del marketing. 32

33 Cluster analysis Metodi non gerarchici 3. Caratteristiche dei cluster finali La tabella dei centri finali mostra la media dei cluster per ciascuna variabile utilizzata nella procedura. Grazie a questa tabella è possibile individuare le caratteristiche dei cluster rispetto alle variabili considerate e giudicare la leggibilità in termini di marketing dei cluster stessi. Centri dei cluster finali Cluster Riconoscibilità esterna Praticità prodotto/processo d acquisto Qualità prodotto Riconoscibilità interna Prezzo

34 Cluster analysis Metodi non gerarchici 3. Caratteristiche dei centri finali Considerando che le variabili utilizzate (componenti principali) sono variabili standardizzate (ovvero con media 0 e varianza 1), si può osservare che: il cluster 1 assegna un importanza relativamente elevata al fattore 2 (praticità) e bassa ai fattori 3 (qualità) e 4 (riconoscibilità interna); il cluster 2 risulta attento a quasi tutti gli aspetti del prodotto, in particolare alla qualità; il cluster 3 assegna un importanza relativamente elevata al fattore 4 (riconoscibilità interna) e bassa alla praticità e alla riconoscibilità esterna. 34

35 Quale metodo scegliere? Un esempio tratto dalle dispense del corso di statistica Multivariata della prof.ssa Rampichini

36

37