Analisi Bivariata. Metodi Quantitativi per Economia, Finanza e Management. Esercitazione n 4

Transcript

1 Analisi Bivariata Metodi Quantitativi per Economia, Finanza e Management Esercitazione n 4

2 Lavoro di gruppo Attendere la validazione del questionario via mail e procedere alla somministrazione dello stesso Argomenti da trattare nel lavoro di gruppo: Analisi Univariata Analisi Bivariata Test Statistici Analisi Fattoriale Regressione Lineare Regressione Logistica

3 Lavoro di gruppo Schema di valutazione Topics 1. Introduzione 1.1. Definizione Obiettivi di Ricerca 1.2. Descrizione del Contesto 1.3. Definizione della Popolazione 1.4. Disegno del Campione 1.5. Fieldwork 2. Analisi Preliminari 2.1. Controllo Rappresentatività del Campione 2.2. Analisi Univariate 2.3. Analisi Connessione 2.6. Analisi Correlazione 2.7. ANOVA 3. Analisi Fattoriale 3.1. Scelta Numero dei fattori 3.2. Interpretazione dei fattori 4. Regressione Lineare 4.1. Definizione obiettivo di analisi 4.2. Scelta variabili di input 4.3. Valutazione bontà del modello 4.4. Analisi Multicollinearità 4.5. Interpretazione del modello 5. Regressione Logistica 5.1. Definizione obiettivo di analisi 5.2. Scelta variabili di input 5.3. Valutazione bontà del modello 5.4. Analisi Multicollinearità 5.5. Interpretazione del modello 6. Conclusioni 7. Layout

4 Prima di iniziare... Controllare se sul pc su cui state lavorando esiste già una cartella C:\corso. In tal caso eliminare tutto il contenuto. In caso contrario creare la cartella corso all interno del disco C Andare sul disco condiviso F nel percorso F:\corsi\Metodi_Quantitativi_EFM_1819\esercitazione4 e copiare il contenuto nella cartella C:\corso Aprire il programma R(Start All Programs R R 3.3.1) Cambiare la directory di lavoro puntando il percorso fisico C.\corso, utilizzando l'istruzione setwd('c:/corso') Importare il file CSV telefonia.csv nell'oggetto R telefonia con il comando telefonia=read.csv('telefonia.csv', header=true)

5 Metodi Quantitativi per Economia, Finanza e Management Obiettivi di questa esercitazione: Dipendenza tra due variabili (schema di analisi) Due qualitative: CROSSTABLE Due o più quantitative: COR.TEST RCORR Qualitativa e quantitativa: AOV

6 Analisi Bivariata Studio della distribuzione di due variabili congiuntamente considerate e delle relazioni esistenti tra esse OBIETTIVO: studiare la relazione di dipendenza/indipendenza tra due variabili. L analisi d indipendenza dipende dalla natura delle variabili: Due Variabili Qualitative Due o più Variabili Quantitative Una Qualitative e Una Quantitativa continua Indipendenza Statistica (indici Chi Quadro, Cramer V) Indipendenza Lineare (indice: coeff. di correlazione lineare) Indipendenza in media (indice: eta-quadro) CROSSTABLE COR.TEST RCORR AOV

7 Metodi Quantitativi per Economia, Finanza e Management Obiettivi di questa esercitazione: Dipendenza tra due variabili (schema di analisi) Due qualitative: CROSSTABLE Due o più quantitative: COR.TEST RCORR Qualitativa e quantitativa: AOV

8 Riepilogo teorico (1/2) X e Y due variabili qualitative/quantitative discrete Tabelle di Contingenza: tabelle a doppia entrata; i valori riportati all interno della tabella sono le frequenze congiunte assolute (numero di osservazioni per ogni combinazione di modalità di X e Y). NB: come vedremo R riporta nell output anche le distribuzioni marginali (somme per riga e per colonna) e le frequenze relative congiunte (frequenza assoluta congiunta / numero di osservazioni totali)

9 Indipendenza Statistica: Riepilogo teorico (2/2) se al variare di X le distribuzioni subordinate (Y X= x i ) sono tutte uguali tra loro, si può concludere che la distribuzione di Y non dipende da X. Nel caso di indipendenza statistica, la frequenza relativa congiunta è pari al prodotto delle marginali corrispondenti P(x i,y j )=P x (x i )P y (y j ) Indici di connessione: χ² (chi-quadrato) assume valore nullo se i fenomeni X e Y sono indipendenti. Tende a crescere, al crescere del numero di osservazioni. Cramer V: basato sul χ², è un indice relativo (non risente del numero di osservazioni). Assume valori compresi tra 0 e 1: 0 nel caso di indipendenza statistica, e tende a crescere all aumentare del grado di dipendenza delle variabili considerate.

10 CrossTable - Descrizione La CROSSTABLE permette di 1. Creare tabelle di contingenza a due o più dimensioni per variabili qualitative e quantitative discrete 2. Calcolare indici di dipendenza relativi a tabelle di contingenza (tra cui chi-quadrato e Cramer V)

11 CrossTable Sintassi generale Distribuzione di frequenza bivariata (tabelle di contingenza) CrossTable(nome_dataset$nome_variabile1, nome_dataset$nome_variabile2, prop.chisq=false ) È un opzione che inseriremo sempre N.B. Per usare questa funzione è necessario richiamare la libreria descr, scaricata nella lezione 3.

12 CrossTable Esempio 1 Variabili qualitative: sesso e operatore telefonico CrossTable(telefonia$sesso, telefonia$operatore, prop.chisq=false)

13 Output CrossTable - Esempio 1 Distribuzioni marginali: frequenze marginali assolute e relative Frequenze congiunte assolute Frequenze congiunte relative Frequenze subordinate di riga e colonna

14 Output CrossTable - Esempio 1 freq. marginale assoluta= freq. subordinate: di riga=27/100 di col=27/55 freq. marginale relativa=( )/236 freq. congiunta relativa = (28/236)

15 CrossTable - Esempio 2 C è indipendenza statistica tra le variabili sesso del rispondente (SESSO) e possesso del computer (COMPUTER)? CrossTable(telefonia$sesso, telefonia$computer, prop.chisq=false)

16 CrossTable Esempio 2 Da cosa possiamo dedurre la presenza di dipendenza/ indipendenza tra le due variabili? Le variabili sono indipendenti se la distribuzione della variabile possesso computer non è influenzata dal sesso... Ovvero la distribuzione di chi possiede il computer da chi non lo possiede non varia tra maschi e femmine e corrisponde alla distribuzione marginale della variabile computer

17 CrossTable Esempio 2 Computer=0: % F % M Computer=1: % F % M Le distribuzioni sono diverse, ci fa pensare alla presenza di dipendenza tra le due variabili!

18 CrossTable Esempio 2 NB: la relazione di dipendenza è simmetrica. Anche analizzando la dipendenza del sesso dalla variabile computer osserviamo un influenza Femmine: - 16% computer=0-84% computer=1 Maschi: % computer=0-70.6% computer=1 Per quantificare il grado di connessione tra le due variabili calcoliamo gli indici di connessione

19 CrossTable - Descrizione La CROSSTABLE permette di 1. Creare tabelle di contingenza a due o più dimensioni per variabili qualitative e quantitative discrete 2. Calcolare indici di dipendenza relativi a tabelle di contingenza (tra cui Chi-quadrato e Cramer V)

20 Chi quadrato Sintassi generale Calcolo dell indice Chi-quadro CrossTable(nome_dataset$variabile1, nome_dataset$variabile2, prop.chisq=false, options) OPTIONS: chisq=true = calcola l indice chi-quadro

21 Esempio n 1- Indice Chi-Quadro C è indipendenza statistica tra le variabili sesso del rispondente (SESSO) e possesso del computer (COMPUTER)? CrossTable(telefonia$sesso, telefonia$computer, prop.chisq=false, chisq=true)

22 Esempio n 1- Indice Chi-Quadro Indice Chi Quadro maggiore di 0 Indica dipendenza N.B: Indice influenzato dal numero di osservazioni! Come valutiamo la presenza di indipendenza? Test d ipotesi (PROSSIMA LEZIONE)

23 Indice di Cramer V sintassi generale Calcolo dell indice di Cramer V: CramerV(nome_dataset$variabile1,nom e_dataset$variabile2) N.B. Per calcolare l indice di Cramer V è necessario scaricare il pacchetto DescTools e ricordarsi di richiamarlo (library(desctools))

24 Esempio n 1- Indice di Cramer V C è indipendenza statistica tra le variabili sesso del rispondente (SESSO) e possesso del computer (COMPUTER)? CramerV(telefonia$sesso, telefonia$computer) Come valutiamo la presenza di indipendenza? Test d ipotesi (PROSSIMA LEZIONE)

25 Metodi Quantitativi per Economia, Finanza e Management Obiettivi di questa esercitazione: Dipendenza tra due variabili (schema di analisi) Due qualitative: CROSSTABLE Due o più quantitative: COR.TEST RCORR Qualitativa e quantitativa: AOV

26 X e Y due variabili quantitative Riepilogo teorico Indaghiamo la presenza di una relazione lineare tra le due variabili Coefficiente di correlazione lineare ρ(x,y) : ρ = Corr(X,Y) = Cov(X,Y) σ X σ Y ρ = 0 non c è relazione lineare tra X e Y ρ > 0 relazione lineare positiva tra X e Y Y r = +0.3 X ρ < 0 relazione lineare negativa tra X e Y Y r = -0.6 X

27 Correlazione tra due variabili cor.test - Descrizione La funzione cor.test permette di calcolare la correlazione tra due variabili quantitative cor.test(nome_dataset$variabile1, nome_dataset$variabile2)

28 cor.test - Esempio Correlazione tra il numero medio di ore di utilizzo del telefono cellulare e del fisso al giorno cor.test(telefonia$cell_h, telefonia$fisso_h)

29 Output cor.test - Esempio Coefficiente di correlazione lineare ρ(x,y): presenza di relazione lineare positiva

30 Output cor.test - Esempio Se vogliamo visualizzare la correlazione tramite un grafico, possiamo fare un plot della distribuzione delle due variabili in essere. plot(telefonia$cell_h, telefonia$fisso_h)

31 Correlazione tra più variabili rcorr - Descrizione La funzione rcorr permette di calcolare la correlazione tra più di due variabili quantitative, creando così una matrice di correlazione. La diagonale di tale matrice avrà sempre correlazione 1. rcorr(as.matrix(nome_dataset_new)) Per svolgere questa funzione: E necessario creare un subset contenente solo le variabili di interesse su cui applicare l analisi di correlazione. È necessario scaricare il pacchetto Hmisc

32 Correlazione tra più variabili rcorr - Descrizione L output della funzione rcorr è una lista di elementi di seguito descritti: r : è la matrice di correlazione n : è la matrice che contiene il numero di osservazioni per ogni coppia di variabile analizzata p : p-values corrispondenti al livello di significatività delle osservazioni

33 rcorr Creazione di un subset Creazione di un subset Per creare un nuovo dataset con le solo variabili di interesse, la sintassi è la seguente: Nome_dataset_new = nome_dataset[,c( var1, var2, varn, )]

34 rcorr - Esempio Vogliamo calcolare la correlazione tra le seguenti variabili: durata media delle chiamate effettuate [durata_chiamate_e] e: durata media delle chiamate ricevute [durata_chiamate_r] numero medio di ore di utilizzo del telefono cellulare al giorno [cell_h] numero medio di ore di utilizzo del telefono fisso al giorno [fisso_h]

35 rcorr - Esempio Creazione di un subset tel=telefonia[,c("durata_chiamate_r", "durata_chiamate_e", "fisso_h","cell_h")]

36 rcorr Installazione pacchetto Installare il pacchetto Hmisc è richiamarlo. library(hmisc)

37 rcorr - Esempio Correlazione tra più variabili rcorr(as.matrix(tel))

38 telefonia$durata_chiamate_r Output rcorr - Esempio telefonia$durata_chiamate_e

39 Correlazione - Game

40 Metodi Quantitativi per Economia, Finanza e Management Obiettivi di questa esercitazione: Dipendenza tra due variabili (schema di analisi) Due qualitative: CROSSTABLE Due o più quantitative: COR.TEST RCORR Qualitativa e quantitativa: AOV

41 Riepilogo teorico (1/4) X variabile qualitativa e Y variabile quantitativa Indaghiamo la relazione esistente confrontando le medie aritmetiche della variabile Y (quantitativa) sui gruppi di osservazioni generati dalle modalità assunte dalla variabile X (qualitativa) Esempio: X: sesso Y: reddito Le due variabili sono indipendenti in media se il reddito medio delle donne non è significativamente diverso dal reddito medio degli uomini

42 Riepilogo teorico (2/4) X variabile qualitativa e Y variabile quantitativa dove SQT y =SQ tra + SQ nei SQT y somma dei quadrati degli scarti di ogni valore dalla media generale (media reddito generale) SQ tra somma dei quadrati degli scarti di ogni media di gruppo (media reddito donne, media reddito uomini) dalla media generale (media reddito generale) SQ nei somma degli scarti al quadrato di ogni valore dalla media del suo gruppo (media reddito donne o media reddito uomini)

43 Riepilogo teorico (3/4) X variabile qualitativa e Y variabile quantitativa SQT y =SQ tra + SQ nei

44 Riepilogo teorico (4/4) X variabile qualitativa e Y variabile quantitativa Indice relativo per misurare la dipendenza in media: η 2 = SQ tra /SQT y =1-(SQ nei /SQT y ) η 2 = 0 indipendenza in media η 2 > 0 dipendenza in media η 2 = 1 massima dipendenza in media η 2 è sempre compreso tra 0 e 1.

45 ANOVA R prevede diversi modi per condurre l analisi della varianza (ANOVA), utilizzata per confrontare le medie e le varianze di due o più gruppi di dati, per valutare se tali differenze sono statisticamente significative. L Anova si utilizza quindi quando la variabile o le variabili indipendenti sono di tipo categoriale, e la variabile dipendente è numerica.

46 aov Sintassi generale (1/2) Sia Y una variabile quantitativa e X una variabile qualitativa aov(y~x, data=nome_dataset) ~ è il simbolo TILDE, da tastierino numerico tenere premuto ALT e digitare 126 (ALT+126)

47 aov Sintassi generale (2/2) Sia Y una variabile quantitativa e X una variabile qualitativa anova=aov(y~x, data=nome_dataset) OUTPUT 1: model.tables(anova, type= means ) OUTPUT 2: summary(anova)

48 Esempio C è relazione tra la soddisfazione del cliente (SODDISFAZIONE_GLOBALE) e l operatore telefonico da lui scelto (OPERATORE)? aov(soddisfazione_globale~operatore, data=telefonia)

49 Esempio: Output 1 Media totale Media dei singoli gruppi La media della soddisfazione globale sembra molto vicina tra i diversi gruppi

50 Esempio: Output 2 Interpretazione: Nella tabella i valori riportati sono: Df = gradi di libertà Sum Sq = devianza (alla riga operatore, entro gruppi, alla riga Residuals, residua) Mean Sq = varianza (come sopra) F value = test F: Mean Sq entro gruppi / Mean Sq residua Pr(>F) = p-value Ai fini dell interpretazione, si deve ricordare che l ipotesi nulla è che le varianze siano uguali fra di loro, e che dunque la variabile indipendente non produca effetti sulla variabile dipendente

51 Esempio: Output 2 Interpretazione: Ai fini dell interpretazione, si deve ricordare che l ipotesi nulla è che le varianze siano uguali fra di loro, e che dunque la variabile indipendente non produca effetti sulla variabile dipendente La probabilità che sia vera l ipotesi nulla è indicata dal valore Pr (p-value). Nel caso in esempio, la relazione non è significativa (accettiamo H0) ed quindi le due variabili sono quasi perfettamente indipendenti.

52 Eta-Quadro X variabile qualitativa e Y variabile quantitativa Indice relativo per misurare la dipendenza in media: η 2 = SQ tra /SQT y =1-(SQ nei /SQT y ) η 2 = 0 indipendenza in media η 2 > 0 dipendenza in media η 2 = 1 massima dipendenza in media η 2 è sempre compreso tra 0 e 1. Per calcolare l indice η 2 in R, bisogna scaricare il pacchetto lsr e richiamarlo. library(lsr)

53 etasquared - Sintassi etasquared(nome_dataset_generato_da_aov) eta quadro Anche il valore di eta-quadro è molto vicino a 0 avvalora l ipotesi di indipendenza in media NB: per una valutazione più oggettiva rimandiamo alla prossima lezione (test d ipotesi)

54 Dataset Il dataset DENTI contiene dati sul consumo di dentifricio (di marca A e di marca B). Le variabili sono: # Variable Type Label 1 CODCLI Num CODICE CLIENTE 2 SESSO Char SESSO 3 ETACLASS Char CLASSE DI ETA' 4 REGIONE Char REGIONE ITALIANA 5 PRESBAMB Char PRESENZA BAMBINI (1:SI / 2:NO) 6 TRATTOT Num CLIENTE ABITUALE DI DENTIFRICI SI/NO 7 ALTOCON Num ALTO CONSUMANTE SI/NO 8 CONSTOT Num TOTALE CONSUMO DI DENTIFRICI NEL PERIODO 9 ACQTOT Num TOTALE ACQUISTI DI DENTIFRICI NEL PERIODO 10 STOCKTOT Num TOTALE ACCUMULO DI DENTIFRICI NEL PERIODO 11 TATTITOT Num NUMERO DI CONTATTI PUBBLICITARI TOTALI 12 TRIP Num PERIODO OSSERVAZIONE 13 CITYSIZE Char DIMENSIONE CITTA' DI RESIDENZA IN CLASSI 14 AREA Char AREA GEOGRAFICA 15 ACQ_A Num ACQUISTI DI DENTIFRICI DELLA MARCA A NEL PERIODO 16 STOCK_A Num ACCUMULO DI DENTIFRICI DELLA MARCA A NEL PERIODO 17 CONS_A Num CONSUMO DI DENTIFRICI DELLA MARCA A NEL PERIODO 18 TRAT_A Num CLIENTE ABITUALE DI DENTIFRICI DELLA MARCA A SI/NO 19 TATTI_A Num NUMERO DI CONTATTI PUBBLICITARI (DENTIFRICI MARCA A) 20 ACQ_B Num ACQUISTI DI DENTIFRICI DELLA MARCA B NEL PERIODO 21 STOCK_B Num ACCUMULO DI DENTIFRICI DELLA MARCA B NEL PERIODO 22 CONS_B Num CONSUMO DI DENTIFRICI DELLA MARCA B NEL PERIODO 23 TRAT_B Num CLIENTE ABITUALE DI DENTIFRICI DELLA MARCA B SI/NO 24 TATTI_B Num NUMERO DI CONTATTI PUBBLICITARI (DENTIFRICI MARCA B)

55 Esercizi 1. Allocare la DIRECTORY DI LAVORO (che punta alla cartella che contiene il file DENTI.CSV ) 2. Utilizzare la procedura corretta per analizzare la relazione di indipendenza tra area geografica e sesso 3. Utilizzare la procedura corretta per analizzare la relazione di indipendenza tra le variabili consumo di dentifrici della marca A e numero di contatti pubblicitari totali 4. Utilizzare la procedura corretta per analizzare la relazione di indipendenza tra la variabile consumo di dentifrici della marca A e area geografica e confrontarla con quella tra consumo di dentifrici della marca A e dimensione della città di residenza.