ANALISI DEI DATI PER IL MARKETING 2014

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "ANALISI DEI DATI PER IL MARKETING 2014"

Giacinto Tortora
8 anni fa
Visualizzazioni

1 ANALISI DEI DATI PER IL MARKETING 2014 Marco Riani TRATTAMENTI PRELIMINARI DEI DATI Pulizia dei dati (data cleaning) = processo capace di garantire, con una certa soglia di affidabilità, la correttezza d un insieme di dati (dataset, database, data warehouse). 1

it TRATTAMENTI PRELIMINARI DEI DATI Pulizia dei dati (data cleaning) =

2 QUALITA DEI DATI definita con riguardo alle seguenti caratteristiche: rilevanza, cioè la capacità di soddisfare le reali esigenze conoscitive degli utilizzatori; accuratezza, cioè la corrispondenza tra le stime ottenute ed i valori veri (ma ignoti) nella popolazione di riferimento; tempestività, cioè la capacità di fornire i risultati in tempi ravvicinati rispetto all esecuzione dell indagine; accessibilità, cioè la possibilità per l utente di reperire facilmente e comprendere l informazione richiesta; confrontabilità, che fa riferimento alla validità dei raffronti dei dati nel tempo o nello spazio. PROBLEMI NEL DATA CLEANING Le unità statistiche non rilevate (casi mancanti); i valori mancanti di singole variabili; la tipologia degli errori; i valori anomali e le osservazioni influenti. 2

accessibilità, cioè la possibilità per l utente di reperire facilmente e comprendere l informazione richiesta; confrontabilità, che fa riferimento alla validità dei raffronti dei dati nel tempo o

3 CASI MANCANTI Se le unità statistiche campionarie effettivamente rilevate sono in numero di m, invece delle n originariamente previste (m<n), si può procedere in due modi: i) si considera la matrice dei dati formata dalle m unità disponibili; ii) si rilevano (n-m) unità ulteriori, sostituendo ciascuna unità mancante con un altra. DISTORSIONI, AUTOSELEZIONE MISSING VALUES Matrice dei dati formata da n righe, ma con vuoti (blank) in alcune caselle. i) Carattere non pertinente per la singola unità ii) Risposta non so in una domanda riguardante un opinione iii) Rifiuto di singole risposte iv) Mancata rilevazione dovuta a cause esterne 3

con un altra. DISTORSIONI, AUTOSELEZIONE MISSING VALUES Matrice dei dati formata da n righe, ma con vuoti (blank) in alcune caselle.

4 PROCESSO GENERATORE DEI MISSING VALUES X con tutti i dati, Y con dati mancanti i)missing Completely at Random (MCAR) La probabilità di riscontrare un valore mancante è indipendente dai valori di X ediy, per cui i dati omessi sono completamente casuali. ii) Missing at Random (MAR) I valori mancanti dipendono da X ma non da Y; se s individuano opportune classi o categorie di X la probabilità d un dato mancante di Y non è uguale per tutte le classi (o categorie), ma nell ambito di ciascuna di esse i valori mancanti sono casuali. iii) Missing not at Random La probabilità di riscontrare un dato mancante dipende dai valori che assume Y ed eventualmente anche da quelli di X. STRATEGIE POSSIBILI Analisi solo dei casi completi (esclusione listwise), Analisi dei casi disponibili per ciascun fenomeno (criterio columnwise) o per ciascuna coppia di variabili (criterio pairwise) Altri criteri: ponderazione, imputazione 4

ii) Missing at Random (MAR) I valori mancanti dipendono da X ma non da Y; se s individuano opportune classi o categorie di X la probabilità d un dato mancante di Y non è uguale per tutte le classi (o

5 File di esempio TAGLIAT40.SAV Effettuare un analisi dei dati mancanti e dei valori estremi univariati (ossia esterni all intervallo [Q1-1.5*IQR Q3+1.5*IQR]) Calcolare medie e deviazioni standard con tutti i dati e solo i dati mancanti (esclusione listwise e pairwise) Traccia di soluzione in SPSS 5

univariati (ossia esterni all intervallo [Q1-1.5*IQR Q3+1.

6 Traccia di soluzione in SPSS Traccia di soluzione in SPSS 6

7 Traccia di soluzione in SPSS Es. l unità 15 è mancante per la variabile «rotte» ed è un valore estremo univariato superiore per la variabile «umidit» Es. se si esclude la variabile ceneri il numero di casi completi è 30. Se si considerano tutte e tre le variabili le unità con tutti i valori sono 23 (esclusione listwise) 7

8 Per ottenere le statistiche descrittive con criterio listwise e a coppie selezionare le relative caselle di controllo (v. schermata di seguito) Output 8

9 File di esempio NAVIG(GPS).SAV Effettuare un analisi dei dati mancanti e dei valori estremi univariati (ossia esterni all intervallo [Q1-1.5*IQR Q3+1.5*IQR]) Calcolare medie e deviazioni standard con tutti i dati e solo i dati mancanti (esclusione listwise e pairwise) PROCEDURA IN SPSS 100 navigatori (GPS) 9

(ossia esterni all intervallo [Q1-1.5*IQR Q3+1.

10 Numerosità escludendo una o più variabili CRITERIO LISTWISE 10

11 Suggerimenti per la scelta della STRATEGIA Poche unità con dati mancanti (<5%): LISTWISE Variabile con molti dati mancanti: SI ELIMINA Unità con molti valori mancanti: SI ELIMINA COMPITO FEBBRAIO 2008-II, N. 3 Si è effettuata un indagine campionaria su quattrocento individui, mediante un questionario che prevedeva 10 domande con risposte quantitative. Per sei di queste variabili si sono ottenute risposte complete, mentre le restanti quattro presentano rispettivamente 3, 5, 12 e 316 dati mancanti. Volendo effettuare analisi bivariate e analisi multivariate di questo data set: quali strategie può ragionevolmente adottare il ricercatore per il trattamento dei missing values? Quali conseguenze comporta ciascuna delle scelte effettuate? 11

Per sei di queste variabili si sono ottenute risposte complete, mentre le restanti quattro presentano rispettivamente 3, 5, 12 e 316 dati mancanti.

12 RISOLUZIONE Si deve osservare in primo luogo che la decima domanda presenta ben 316 dati mancanti su un totale di 400 individui partecipanti all indagine. Ai fini delle analisi multivariate, la decisione più ragionevole è dunque quella di eliminarla, effettuando le elaborazioni sul data set costituito dalla restanti 9 variabili (vedi il testo: ZANI CERIOLI, 2007, p. 77, n. 2). La matrice dei dati di dimensioni può ora essere trattata con il criterio pairwise o con il criterio listwise. Quest ultimo è preferibile poiché i dati mancanti nelle variabili considerate sono pochi TIPI DI ERRORI Errori campionari Errori non campionari Errore totale La stima delle componenti dell errore totale attribuibili ad ogni singola fonte di errore è denominata profilo dell errore e rende possibile l attività di convalida (validation) dell informazione ottenuta. 12

CERIOLI, 2007, p. 77, n. 2). La matrice dei dati di dimensioni 400 9 può ora essere trattata con il criterio pairwise o con il criterio listwise.

13 ERRORI DI MISURA (parte dell errore non campionario) Costituiti dalla differenza tra il valore vero (ma ignoto!) del fenomeno in un certa unità statistica ed il valore rilevato dall indagine: valori inammissibili o dati fuori dominio; valori anomali (outliers); errori non facilmente individuabili, in quanto non corrispondono a valori inammissibili o anomali. VALORI ANOMALI Definizione. Un valore anomalo è un osservazione che, essendo atipica o erronea, si scosta decisamente dal comportamento degli altri dati, con riferimento al tipo di analisi considerata. 13

(outliers); errori non facilmente individuabili, in quanto non corrispondono a valori inammissibili o anomali. VALORI ANOMALI Definizione.

14 RICHIAMI SUL BOXPLOT Boxplot di 16 punti 14

15 Boxplot di 16 punti Il punto di troncamento superiore è in corrispondenza del valore più grande x 75% +1.5DI Il punto di troncamento inferiore si colloca in corrispondenza del valore più piccolo x 25% -1.5DI Boxplot dei 20 valori della tabella 4.2 libro STAT (p. 159) 15

5DI Il punto di troncamento inferiore si colloca in corrispondenza

16 Tasso di disoccupazione Tasso di attività 16

17 Boxplots in Excel Aprire il file HT_box.xls. Utilizzando il componente aggiuntivo boxplot.xla costuire il boxplot per le variabili prezzo e potenza. Aggiungere le etichette alle unità che risultano anomale INDIVIDUAZIONE DEGLI OUTLIERS UNIVARIATI Una variabile: boxplot Esempio: home theatre, prezzo e potenza 17

xla costuire il boxplot per le variabili prezzo e potenza.

18 Esercizio Nel file ex23.sav analizzare tramite boxplot come varia la distribuzione della retribuzione al variare del titolo di studio (identificare i valori anomali) Separare la precedente analisi per maschi e femmine 18

19 Esercizio Nel file ex23.sav analizzare tramite boxplot come varia la distribuzione della retribuzione al variare del titolo di studio, inserendo come variabile di gruppo lo stato civile 19

20 Soluzione Boxplot in SPSS: riepilogo opzioni Vai al caso Etichetta ID punti Modalità etichette valori Variabile riquadro righe/colonne Variabile di gruppo su X 20

21 INDIVIDUAZIONE DEGLI OUTLIERS BIVARIATI Diagramma di dispersione OUTLIERS BIVARIATI 21

22 TIPI DI OUTLIERS (p. 81) TRATTAMENTO DEGLI OUTLIERS Se esso è dovuto ad un errore di rilevazione non correggibile: eliminazione (trattandolo come un dato mancante). Se è attribuibile ad una distribuzione differente: esclusione listwise della corrispondente unità statistica. Se è dovuto alla variabilità intrinseca del fenomeno: conservarlo (eventualmente trasformazione della corrispondente variabile, ad esempio logaritmica). 22

23 OUTLIERS PER VARIABILI ORDINALI E NOMINALI OSSERVAZIONI INFLUENTI Il vettore dei dati di un unità statistica è una osservazione influente se incide in misura molto rilevante sul valore numerico d un certo indice statistico oppure sui parametri o sull adattamento d uno specifico modello. Omission approach: calcolo delle variazioni dell indice o dei parametri del modello eliminando una singola unità fra le n considerate. 23

24 r xy = 0.6, senza outlier r xy = 0 (p. 85) r xy = 0.6, senza outlier r xy = 0.98 (p. 85) 24

25 Teorema (di Sastry and Nag, 1990). Considerando n coppie di dati (x i, y i ), i = 1, 2,, n, di due variabili X e Y, delle quali (n -1) assumono valori prefissati, risulta: lim r 2 xy = 1 per x 2 n + e y 2 n + Una sola osservazione molto più grande delle altre fa tendere ad 1 il coefficiente di correlazione! ESERCIZIO Si disegni un diagramma di dispersione riferito a 12 unità ed a due variabili X e Y con forte correlazione lineare inversa. Si inserisca in tale grafico un ulteriore unità, che risulta anomala per la variabile X, ma non per la variabile Y. Si dica quale effetto produce sul coefficiente di correlazione l inserimento della suddetta tredicesima unità 25

26 Esercizio Generare 50 osservazioni y in base al modello di regressione Generare i dati x in base alla distribuzione uniforme [0 1] e i disturbi epsilon in base alla distribuzione normale N(0, σ). Stimare i parametri a e b del modello di regressione. Esercizio (continua) Verificare empiricamente il teorema di Sastry and Nag, 1990, ossia aggiungere un osservazione molto distante dalla nuvola dei punti e vedere come cambia r 2 xy 26

Documenti analoghi

ANALISI DEI DATI PER IL MARKETING 2017

ANALISI DEI DATI PER IL MARKETING 2017 Marco Riani mriani@unipr.it http://www.riani.it TRATTAMENTI PRELIMINARI DEI DATI Pulizia dei dati (data cleaning) = processo capace di garantire, con una certa soglia