ANALISI DEI DATI PER IL MARKETING Marco Riani

Transcript

1 ANALISI DEI DATI PER IL MARKETING 2018 Marco Riani

2 INFORMAZIONI SUL CORSO Orario MER (frontale) MER (frontale) VEN (laboratorio) Ricevimento GIO VEN

3 E necessario registrarsi per accedere ai computer del laboratorio!

4 INFORMAZIONI SUL CORSO Conoscenze preliminari conoscenza di base di statistica descrittiva e inferenziale Tutti i lucidi saranno disponibili su

5 Calendario degli esami 18 dicembre 2018 ore gennaio 2019 ore gennaio 2019 ore maggio 2019 ore giugno 2019 ore giugno 2019 ore settembre 2019 ore Primo appello: a computer

6 LIBRO DI TESTO Sergio Zani Andrea Cerioli ANALISI DEI DATI E DATA MINING PER LE DECISIONI AZIENDALI Giuffrè MATERIALE AGGIUNTIVO SU E consentito tenere questo libro durante l esame!

7 SOFTWARE SPSS: Statistical Package for Social Sciences MATLAB R SAS: Statistical Analysis System

8 Software utilizzati nel corso Excel 2016 SPSS ver. 25

9 MODALITÀ DI ESAME (prova scritta tradizionale) Quattro (tre) domande, ciascuna costituita da vari punti: aspetti di calcolo aspetti di commento e di interpretazione dei risultati circa della medesima importanza Commento dei risultati ottenuti da SPSS e/o altro software

10 MODALITÀ DI ESAME (prova al computer) Si parte da un dataset dentro un file Excel: Elaborazione dei dati con Excel Componenti aggiuntivi di Excel per effettuare determinate operazioni statistiche Commento ai risultati

11 Il foglio "dati" contiene le risposte da un questionario riguardante l'attitudine verso la scienza (SCIENZA), il titolo di studio (TITOLO_STUDIO) e la classe di età (ETA). La codifica della variabile SCIENZA è la seguente 1= per niente favorevole 2= poco favorevole 3= indifferente 4= favorevole 5= molto favorevole La codifica della variabile TITOLO_STUDIO è la seguente 1= licenza elementare 2= licenza media 3= diploma di scuola media superiore 4= laurea triennale 5= laurea specialistica 6= dottorato di ricerca La codifica della variabille ETA è la seguente: 1= < 20 anni 2= anni 3= anni 4= anni 5= anni 6= >70 anni

12 1) Calcolare la tabella di contingenza tra le variabili SCIENZA (righe) e TITOLO_STUDIO (colonne) 2) Calcolare la tabella delle frequenze teoriche nell'ipotesi di indipendenza tra le due variabili 3) Calcolare il valore del test chi quadrato ed il relativo p-value. Commentare il risultato ottenuto. Qual è il valore del test chi quadrato che ci attendiamo nell'ipotesi di indipendenza stocastica dei due fenomeni? 4) Calcolare i profili riga. Dire qual è il profilo riga che si discosta di meno dalla media e qual è quello che si discosta maggiormente dalla media. 5) Calcolare l'inerzia totale 6) Discutere la quota di varianza spiegata dalle prime due dimensioni latenti 7) Trovare le coordinate dei punti riga e colonna da rappresentare nel grafico. Commentare il grafico che si ottiene. 8) Con riferimento alle righe, calcolare il contributo di ogni punto riga all'inerzia della prima dimensione e il contributo della prima dimensione all'inerzia dei punti riga. 9) Calcolare e commentare l'indice gamma di Goodman e Kruskall

13 Risoluzione punto 1

14 Risoluzione punto 7

15 Commento al grafico Commento al grafico: chi presenta il titolo di studio "licenza elementare" generalmente non è assolutamente favorevole alla "Scienza". Al contrario, la posizione "molto favorevole alla scienza" si riscontra prevalentemente da parte di coloro che hanno la laurea (oppure il dottorato di ricerca). L'asse x si può interpretare come anni di studio (andando da sinistra verso destra gli anni di studio aumentano) e allo stesso tempo come posizione verso la scienza (andando da sinistra verso destra la posizione verso al scienza tende ad aumentare).

16 Obiettivi del corso Illustrare i metodi statistici per il trattamento delle informazioni d interesse aziendale, considerando contemporaneamente più variabili, sia qualitative sia quantitative. Fornire un supporto conoscitivo razionale per le decisioni

17 EVOLUZIONE DI CONCETTI Statistica (descrittiva e inferenziale) Analisi dei dati multidimensionali Data Mining = «Estrazione da una miniera di dati» (di grandi dimensioni) Scavare in insiemi di dati molto numerosi per estrarre informazioni utili Text mining Web mining

18 PUNTO DI PARTENZA dell analisi dei dati MATRICE DEI DATI: X riferita a n unità e p variabili Ipermercati Sup. addetti vendite Centro Torri Esselunga...

19 Es di matrice dei dati

20 MATRICE DEI DATI X n p = x x x 11 i1 n1 x x x 1s is ns x x x 1p ip np x is = modalità che presenta la variabile s- esima nell unità statistica i-esima Significato dei vettori riga e dei vettori colonna Tipologia delle unità statistiche

21 TIPI DI DATI Qualitativi (categorici) nominali: Esempi: sesso, tipo di laurea, forma giuridica delle imprese BINARI (DICOTOMICI) O CON CATEGORIE MULTIPLE (POLITOMICI) Qualitativi (categorici) ordinali: giudizi: insuff., suff., discreto, buono, ottimo Quantitativi: peso, fatturato, n. dipendenti

22 Tab Home theatre, 7 variabili pag. 8 MARCA PREZZO POTENZA CASSE DVDREC WIREL. DVX RDS 1 Akai Hitachi K Lg DAT Yamaha YHT

23 TIPI DI MATRICI DEI DATI unità x variabili X di dimensioni n x p Individui (questionari) Aziende Prodotti o marche Unità territoriali (province, ) Tempi (serie storiche o temporali)

24 DATI ASSOLUTI E RELATIVI Esempio: n aziende DATI ASSOLUTI: Fatturato, valore aggiunto, n. addetti, DATI RELATIVI: Fatturato per addetto, valore aggiunto sul fatturato, ROE, A PRIORI DEFINISCO LO SCOPO DELLA RICERCA E POI SCELGO IL DATA SET DA ANALIZZARE

25 Es. Banca Marketing strategico Ciclo vitale Next Product Segmentazione comportamentale Rischio di abbandono Sensitività del valore del portafoglio clienti

26 ANALISI DEL CICLO VITALE ETA STATO CIVILE PRODOTTI LAV SESSO

27 Es. Relazione tra classe di età e possesso di cassette 0.03 di sicurezza Cassette di sicurezza p-value= e < >78

28 Es. Relazione tra stato civile e possesso di cassette di sicurezza 0.14 Cassette di sicurezza p-value= e STATO CIVILE 21: CONIUGATO IN SEPARAZIONE LEGALE

29 Output del modello di ciclo vitale Una spezzata che riporta la probabilità stimata di possedere un macroprodotto al variare dell età per ogni combinazione di SESSO STATO CIVILE PROFESSIONE

30 Prob. di possesso: «Assicurazione danni» Maschio, Separato, Dirigente < >78

31 UTILIZZI DEL MODELLO Il modello segnala in automatico le combinazioni di classe età, professione e stato civile con la più elevata probabilità di possedere il prodotto. Es.M, divorziati, infermieri e medici, età anni Il modello segnala i clienti per cui il modello prevede il possesso del prodotto ma in realtà non è presente

32 NEXT PRODUCT (orizzonte di breve) STATO CIVILE ETA LAV SESSO? Var COGE PRODOTTI??

33 OBIETTIVO VARIABILE RISPOSTA Y=1 (sì ASS DANNI ultimi 6 mesi e lo posseggono attualmente) Y=0 (no ass DANNI attualmente) Quali sono i comportamenti finanziari che meglio separano i due gruppi? Quali sono le variabili più importanti (a priori consideriamo un set di variabili esplicative)

34 Riepilogo variabili potenziali sesso stato civile professione classe di età totale prodotti posseduti uso di Internet possesso di Internet Debiti a breve (ammontare) Debiti a lungo (ammontare) Raccolta diretta + Indiretta Impieghi Fondi (importo) Fondi (numero)num Certificati di deposito Depositi a risparmio cc saldo (Italia +Estero) azioni (ammontare) obbligazioni (ammontare)

35 SEGMENTAZIONE COMPORTAMENTALE (cluster analysis)

36 Operazione preliminare Individuazione dei valori anomali (outliers) Gr 2 Gr. 5 Gr. 6 Gr 1 Gr. 7 Gr. 8

37 Centroidi e matrici di covarianze: definiscono la posizione, l orientamento e l ampiezza dei diversi ellissoidi (gruppi)

38 Probabilità di appartenenza di un unità ai diversi gruppi (un unità non appartiene completamente ad un gruppo) Gr. 6 (0) Gr 2 (0.6) Gr. 5 (0) Gr 1 (0.3) Gr. 7 (0) Gr. 8 (0) Ciascun cliente è attribuito ad ogni segmento con una certa probabilità

39 TECNICHE DI ANALISI DEI DATI FORMAZIONE DI GRUPPI OMOGENEI Misure di dissimilarità e di similarità tra oggetti o individui per variabili quantitative, qualitative e miste (cap. VIII) Cluster analysis (cap. IX): metodi gerarchici e non gerarchici Segmentazione dei prodotti e dei consumatori

40 RISCHIO DI ABBANDONO

41 Rischio di abbandono: Analisi preliminari

42 Analisi preliminari

43 OBIETTIVO VARIABILE RISPOSTA Y=1 (sì clienti che hanno abbandonato negli ultimi 6 mesi) Y=0 (clienti che non hanno abbandonato) Quali sono i comportamenti finanziari che meglio separano i due gruppi? Quali sono le variabili più importanti (a priori consideriamo un set di variabili esplicative)

44 SENSITIVITA DEL PORTAFOGLIO CLIENTI

45 MACROPRODOTTO/I FISSATO/I Qual è la redditività aggiuntiva se i clienti con prob > soglia acquistano il prodotto?

46 redditività potenziale richiesta Quanti clienti devo contattare e quali prodotti devo vendere?

47 Numero di clienti di contattare fissato Qual è la redditività attesa?

48 CONCETTO DA RIBADIRE A PRIORI DEFINISCO LO SCOPO DELLA RICERCA E POI SCELGO IL DATA SET DA ANALIZZARE

49 SCHEMA FONDAMENTALE DELLA RICERCA SCIENTIFICA Problema (domanda) Raccolta di dati Analisi dei dati Conclusione provvisoria (risposta) Estensioni, generalizzazioni, nuovi problemi Il vero indicatore d intelligenza non è la conoscenza, ma l immaginazione (A. EINSTEIN)

50 Esempio di questionario INDAGINE SULL ATTEGGIAMENTO DEI GIOVANI NEI CONFRONTI DELLA MODA Sesso maschio 1 femmina 2 Età _ _ Quale scuola frequenti? Liceo classico 1 altra 4 liceo scientifico 2 ragioneria 3 Taglia Quanta importanza attribuisci al modo di vestire? nulla 1 scarsa 2 moltissima 5 media 3 molta 4 Come definiresti il tuo stile di vestire? sportivo 1 elegante-classico 2 casual A quanto ammonta la tua paghetta settimanale?

51 MATRICE DEI DATI: X riferita a n unità e p variabili: X = [ x is ] Visualizzazione delle informazioni e scoperta di eventuali valori anomali Studio delle relazioni tra variabili - Quantitative (correlazione) - Qualitative nominali e ordinali (ASSOCIAZIONE)

52 TECNICHE DI ANALISI DEI DATI TRATTAMENTI PRELIMINARI DEI DATI (cap. III) pulizia dei dati Dati mancanti (missing values) Valori anomali (outliers) VISUALIZZAZIONE DEI DATI (cap. V) RIDUZIONE DELLE DIMENSIONI (cap. VI e VII) Analisi delle componenti principali e Analisi delle corrispondenze

53 TECNICHE DI ANALISI DEI DATI FORMAZIONE DI GRUPPI OMOGENEI Misure di dissimilarità e di similarità tra oggetti o individui per variabili quantitative, qualitative e miste (cap. VIII) Cluster analysis (cap. IX): metodi gerarchici e non gerarchici Segmentazione dei prodotti e dei consumatori

54 Esercizio Aprire il file HOME_THEATRE_ini.sav. Assegnare alle variabili il corretto formato Osservazione: tutti i file di input e di output per ogni esercizio sono scaricabili dalla pagina

55 SPSS Costruzione della matrice dei dati Visualizzazione variabili: Nome, tipo, etichetta, valori Visualizzazione dati Inserimento valori, modalità o codici

56 Obiettivo Confrontare unità statistiche in presenza di fenomeni con diverso ordine di grandezza e diversa scala di misura File di input: HT.sav oppure htss.xls

57 SCOSTAMENTI STANDARDIZZATI MILIOLI, RIANI, ZANI, 2016, pp Definizione: z i = (x i M)/ σ ove M è la media e σ (a volte indicato con s) è la deviazione standard (in SPSS calcolata come s.q.m. CORRETTO) Proprietà: 1. M = O 2. σ = 1 3. puri numeri (confrontabili) MATRICE DEGLI SCOST. STAND. : Z

58 Traccia di soluzione in SPSS

59 Calcolo delle statistiche descrittive Esercizio: calcolare le statistiche descrittive (media, min, max, standard deviation, varianza, asimmetria e curtosi) per le 3 variabili quantitative presenti nel file ht_sd.xls oppure HT.sav. Eseguire i calcoli in Excel e SPSS. In Excel controllare le formule della varianza dell asimmetria e della curtosi tramite l implementazione manuale

60 Formule da utilizzare per gli indici di asimmetria e curtosi Indice di curtosi Indice di asimmetria

61 Traccia di soluzione in SPSS

62 Traccia di soluzione in Excel Dopo aver installato (attivato) il componente aggiuntivo Analisi dei dati

63 Traccia di soluzione in Excel

64 Traccia di soluzione in Excel

65 Output

66 Ponderazione delle unità Unità statistiche: con la stessa importanza con importanza diversa: ponderazione Vettore dei pesi (relativi): w = [w 1,, w i,, w n ] Esempio dei settori dell industria (p. 23 e seg.)

67 Esercizio Aprire il file Ind_ec.xlsx (indicatori economici) oppure Ind_ec.sav. Escludere dall analisi il settore delle raffinerie Calcolare medie e deviazioni standard pesate per le variabili VA/FATT, COSTO DEL LAVORO PER DIPENDENTE, RETRIBUTIONE LORDA PER DIPENDENTE, INVESTIMENTI PER ADDETTO. Utilizzare come variabile peso il numero di addetti

68 Media semplice e media ponderata Caso particolare: w i = 1/n media aritmetica semplice Confronto con media ponderata in distribuzione di frequenze

69 Scostamento quadratico medio ponderato (eq p. 148)

70 Traccia di soluzione in SPSS Dati Seleziona casi

71 Traccia di soluzione in SPSS Dati Pesa casi

72 Traccia di soluzione in SPSS Analizza Statistiche_descrittive Descrittive

73 Output

74 Distribuzioni di frequenza con classi equispaziate e non Tabelle a doppia entrata File di partenza: ex23_de.xls (ex23.sav)

75 Creazione di classi da variabili quantitative SPSS: Trasforma Categorizzazione visuale (Raccolta visuale) EXCEL: se le classi sono equispaziate si può utilizzare la tabella pivot, altrimenti bisogna utilizzare la funzione frequenza oppure preliminarmente la funzione CERCA.VERT e creare la tabella pivot sulla variabile categorizzata

76 Esercizio Aprire il file ex23.xls (ex23.sav) Creare la distribuzione di frequenze della variabile reddito utilizzando prima classi equispaziate e poi le classi che seguono

77 Traccia di soluzione tramite SPSS Partendo dal file ex23 creare la tabella a doppia entrata che segue

78 Creazione delle classi della variabile retribuzione in SPSS (trasforma raccolta visuale)

79

80 Output

81 Creazione della tabella a doppia entrata

82 Output

83 MATRICE PARTIZIONATA Partizione: suddivisione d un insieme in gruppi disgiunti Partizione delle n unità della matrice dei dati: analisi distinta per ciascun gruppo di unità ed analisi complessiva. Esempio: clienti con e senza carta fedeltà

84 SPSS PER MATRICE PARTIZIONATA Comandi: DATI DISTINGUI CONFRONTA Unica tabella suddivisa DATI DISTINGUI DISTINGUI Una tabella per ogni gruppo

85 Esercizio Aprire il file HT.sav oppure htgruppi.xlsx. Calcolare media e standard deviation delle variabili Prezzo e Potenza distinte per la presenza o assenza di RDS.

86 Traccia di soluzione tramite SPSS

87 Traccia di soluzione tramite SPSS

88 Output di SPSS

89 Traccia di soluzione tramite EXCEL Ci sono tre possibilità Utilizzo del menu Dati Subtotali Filtri + funzione subtotale Tabelle pivot

90 ESTRAZIONE DI UN CAMPIONE CASUALE File di input: SondUSA.xls oppure SondUSA.sav

91 ESTRAZIONE DI UN CAMPIONE CASUALE (EXCEL) Funzione casuale.tra o generazione di numeri casuali uniformi dal componente aggiuntivo Analisi dei Dati Utilizzo della funzione INDICE per estrarre i dati

92 ESTRAZIONE DI UN CAMPIONE CASUALE (SPSS) Dati seleziona casi

93 MATRICE DEI DATI A TRE VIE X = [ x ist ] di dimensioni n x p x q n unità statistiche p variabili q tempi

94 ESEMPI Panel di consumatori: Campione costituito dai medesimi individui (famiglie) interrogati più volte in tempi successivi (6.000 famiglie) Misura dell audience televisiva:

95 AUDITEL Dal 1986, Auditel rileva, 24 ore su 24, minuto per minuto, tutta la TV, nazionale e locale, vista attraverso diverse fonti: terrestre, satellitare, analogica e digitale. Perché Auditel? Perché la misurazione degli ascolti è un elemento fondamentale per la pianificazione degli spazi pubblicitari, risorse di cui la TV vive. Perché è necessario un organismo super partes che operi con trasparenza e affidabilità. AUDIWEB

96 ANALISI DI MATRICI A TRE VIE Analisi distinte per ogni tempo: si ripete q volte lo studio consueto della matrice dei dati n x p. Analisi dinamiche: si studia l evoluzione nel tempo di ogni unità con riferimento alle p variabili, oppure l evoluzione temporale dei valori di ogni singola variabile con riferimento alle n unità