Regressione Semplice. Correlazioni. sconto leverage. sconto Correlazione di Pearson 1,275. Sign. (a due code),141

Transcript

1 Regressione Semplice Analisi Per avere una prima idea della struttura di dipendenza fra le variabili in esame, possiamo cominciare col costruire la matrice di correlazione delle variabili presenti nel data set. Dal menù Analyze => Correlate => Bivariate =>come Variables scegliamo SCONTO e LEVERAGE => OK L output è dato da Correlazioni sconto leverage sconto Correlazione di Pearson 1,275 Sign. (a due code),141 N leverage Correlazione di Pearson,275 1 Sign. (a due code),141 N La variabile SCONTO è abbastanza correlata con le variabili LEVERAGE (coefficiente di correlazione lineare fra SCONTO e LEVERAGE = 0.275). Ci proponiamo ora di spiegare SCONTO tramite la variabile LEVERAGE attraverso un modello di regressione lineare semplice. E sempre bene cominciare col rappresentare graficamente i dati per mezzo di un diagramma a dispersione. Dal menu Graphs selezioniamo Finestre di dialogo legacy => Dispersione/Punti e quindi Dispersione Semplice. Scegliamo come Y-axis la variabile SCONTO e come X-axis la variabile LEVERAGE => OK.

2 Dal diagramma di dispersione appare evidente che un modello di regressione lineare è abbastanza adeguato a rappresentare la relazione tra SCONTO e LEVERAGE. Il grafico mostra anche la presenza di alcuni punti anomali. DEVe quindi partire una discussione all interno del gruppo di ricerca per capire cosa fare al fine di non violare la 3 assunzione per la bontà delle stime fornite dagli stimatori OLS in una regressione semplice (perché sono outliers? toglierli/non toglierli non è univoca la soluzione e tutto va commentato ) Ipotizziamo che valga il seguente modello: Y = β 0 + β 1 X + ε SCONTO = β 0 + β 1 LEVERAGE + ε e supponiamo che siano soddisfatte le ipotesi forti degli OLS (ossia la 1, 2 e 3 ). Dal menu Analyse, selezioniamo Regression e quindi Linear. Selezioniamo come Dependent variable SCONTO e come Independent(s) variable LEVERAGE. Dalla finestra Linear Regression selezioniamo Statistics => Stime Intervallo di confidenza Adattamento del modello Descriptive e dalla finestra Residuals => Durbin Watson Casewise Diagnostics, con Outliers outside: 2 standard deviations Poi Continua e si trona nella precedente finestra dove si seleziona Save => dalla finestra Predicted values => Unstandardized dalla finestra Residuals => Standardized (in questo modo vengono salvate nella Window SPSS data editor, contenente la matrice di dati le variabili PRE_1 e ZRE_1 e Studentized deleted (cioè Per cancellazione studentizzati viene salvata nella Window SPSS data editor la variabile SDR_1) dalla finestra Distances => Cook s and Leverage values (vengono salvate nella Window SPSS data editor le variabili COO_1 e LEV_1) dalla finestra Influence Statistics => Standardized DfBeta(s) e DfFit(vengono salvate nella Window SPSS data editor le variabili DIFF_1, SDB0_0, SDB1_1) Poi Continua e si trona nella precedente finestra dove si seleziona Plots => Histogram e Normal probability plot Poi Continua e si trona nella precedente finestra dove si seleziona OK Commentato [AGQ1]: IN REALTA DOBBIAMO VERIFICARLE!!! Analisi dell output La tabella Descriptive Statistics (Statistica Descrittiva) contiene media e deviazione standard delle variabili prese in esame. Lo sconto medio è 0,3943 mentre il leverage medio è 0,4020 Statistica descrittiva Media Deviazione std. N sconto,3943, leverage,4020,

3 Nella Tabella Correlazioni si trova l r di Bravais-Pearson Correlazioni sconto leverage Correlazione di Pearson sconto 1,000,275 leverage,275 1,000 Sign. (a una coda) sconto.,071 leverage,071. N sconto leverage Variabili immesse/rimosse a Variabili Modello immesse Variabili rimosse Metodo 1 leverage b. Inserisci b. Sono state immesse tutte le variabili richieste. Riepilogo del modello b Modello R R-quadrato R-quadrato adattato Errore std. della stima Durbin-Watson 1,275 a,076,043, ,594 a. Predittori: (costante), leverage b. Variabile dipendente: sconto La Tabella ANOVA in una regressione semplice non si guarda. ANOVA a Modello Somma dei quadrati gl Media quadratica F Sign. 1 Regressione,058 1,058 2,289,141 b Residuo,712 28,025 Totale, b. Predittori: (costante), leverage

4 La tabella Coefficients (Coefficienti) contiene Coefficienti Coefficie nti Coefficienti non standard 95,0% Intervallo di Statistiche di standardizzati izzati confidenza per B collinearità Limite Errore Limite superior Toller Modello B std. Beta t Sign. inferiore e anza VIF 1 (Costa,334,049 6,746,000,232,435 nte) levera,151,100,275 1,513,141 -,053,354 1,000 1,000 ge - le stime dei parametri del modello (intercetta e coefficiente angolare) - gli errori standard degli stimatori ottenuti con il metodo dei minimi quadrati (Errore Std.) e - le statistiche (t), i p-values (Sig.) dei test di Students e gli intervalli di confidenza dei parametri che verificano se i parametri siano significativamente diversi da zero. Nella tabella ottenuta, il p-value del test che verifica H0 (parametro =0) contro H1 (parametro diverso da zero) è zero per l intercetta, quindi a tutti i livelli di significatività si rifiuta l ipotesi che β 0 sia zero, e pari a 0,141 per il coefficiente angolare, quindi si rifiuta l ipotesi che β 1 sia uguale a zero con l 86% di probabilità circa. Il modello lineare stimato è dunque SCONTO = 0, ,151LEVERAGE + ε All aumentare del LEVERAGE di 1 lo SCONTO aumenta di 0,151. Rappresentiamo ora sullo stesso grafico i valori osservati di LEVERAGE e SCONTO e la retta interpolante (o retta di regressione). Dal menu Graphs selezioniamo Finestra di dialogo legacy e dopo Scatter (Dispersione/Punti) e quindi Overlay (A dispersione sovrapposta) e dopo Definisci. Come Y-X Pairs (Coppia Y-X) scegliamo dapprima la coppia di variabili SCONTO- LEVERAGE e successivamente la coppia di variabili PRE_1-LEVERAGE. Poi OK e compare

5 La capacità esplicativa della variabile esplicativa LEVERAGE di rappresentare la variabile dipendente SCONTO per mezzo di una retta può essere misurata utilizzando il coefficiente di determinazione R 2 ( 0 R 2 1 ), che è dato dal rapporto tra la devianza spiegata (o devianza del modello) e devianza totale e rappresenta la proporzione di variabilità totale spiegata dal modello. Nella tabella Model Summary (Riepilogo del Modello) che sta sopra leggiamo il valore di R che rappresenta il coefficiente di correlazione lineare tra le due variabili e il valore del coefficiente di determinazione R 2 che è pari a 0,275. Il modello spiega il 27,5% della variabilità della variabile SCONTO (come era facile attendersi, una variabile sola non basta..). LE 2 TABELLEQUI SOTTO POSSONO ESSERE TRALASCIATE dato che la variabile indipendente è una solo e non si può parlare di collinearità. Diagnostiche di collinearità a Proporzioni varianza Modello Dimensione Autovalore Indice contenuti (Costante) leverage 1 1 1,808 1,000,10,10 2,192 3,073,90,90 Diagnostiche casewise a Numero di caso Residuo std. sconto Valore previsto Residuo 4-2,353,01,3806 -,37524

6 IN REALTA QUESTO CHE DICIAMO ADESSO VA FATTO PRIMA DI TUTTO!!!! E CON QUESTO CHE SI VERIFICANO LE ASSUNZIONI SUI RESIDUI PER LA VALIDITA DELLE STIME OLS!!!! Un ulteriore strumento per controllare la bontà di un modello di regressione è dato dall analisi dei residui. Statistiche dei residui a Minimo Massimo Media Deviazione std. N Valore previsto,3338,4618,3943, Valore previsto std. -1,351 1,505,000 1, Errore standard del valore previsto,029,053,040, Valore previsto adattato,3136,4994,3955, Residuo -,37524,24124,00000, Residuo std. -2,353 1,512,000, Residuo stud. -2,397 1,585 -,004 1, Residuo eliminato -,38948, ,00119, Residuo eliminato stud. -2,640 1,631 -,014 1, Distanza di Mahal.,002 2,266,967, Distanza di Cook,000,249,035, Valore di leva centrato,000,078,033, Se sono verificate le ipotesi forti del modello lineare semplice, allora i residui hanno distribuzione normale, con media zero e varianza costante; i residui sono indipendenti i residui e i valori stimati sono indipendenti I due grafici successivi, un istogramma e un normal probability plot (NPP) dei residui standardizzati, sono utilizzati per verificare se sia plausibile l assunzione di normalità dei residui. Come possiamo osservare dal grafico ottenuto, i residui non seguono bene approssimativamente una distribuzione normale. Pur tenendo conto del numero basso di osservazioni, si può concludere che c è sufficiente evidenza di una forte violazione dell ipotesi di normalità. Commentato [AGQ2]: Sono le 3 + 2!!!! Commentato [AGQ3]: ASSUNZIONE 1 Commentato [AGQ4]: Si chiama OMOSCHEDASTICITA!!! ASSUNZIONE 4

7 Il plot dei residui standardizzati rispetto alla variabile esplicativa LEVERAGE può evidenziare un andamento nei residui che indica non linearità e può rivelare la presenza di punti outliers per la variabile esplicativa. Dal menu Graphs selezioniamo Finestra di dialogo legacy e dopo Scatter (Dispersione/Punti) e quindi Simple. Come Y-axis la variabile ZRE_1 e come X-axis la variabile LEVERAGE. Poi OK. Si ottiene

8 Il plot dei residui standardizzati rispetto ai valori stimati. Dal menu Graphs selezioniamo Finestra di dialogo legacy e dopo Scatter (Dispersione/Punti) Scatter e quindi Simple (A dispersione Semplice) e poi Definisci. Come Y-axis selezionare la variabile ZRE_1 e come X-axis la variabile PRE_1. Poi OK. Si ottiene Dal momento che, se sono soddisfatte le ipotesi del modello, i residui e i valori stimati sono indipendenti, nel grafico di punti (PRE_1 e ZRE_1) dovrebbe apparire che i valori di una delle due coordinate non influenzano i valori dell altra. Questo grafico può anche mostrare se è presente eteroschedasticità, cioè se la varianza dei residui non è costante nel tempo. Regressione Multipla Ipotizziamo che valga il modello

9 Y = β 0 + β 1 X 1 + β 2 X 2 + ε SCONTO = β 0 + β 1 LEVERAGE + β 2 SIZE + ε Dal menu Analyse, selezioniamo Regression e quindi Linear. Selezioniamo come Dependent variable SCONTO e come Independent(s) variable LEVERAGE e anche SIZE. Dalla finestra Linear Regression selezioniamo Statistics => Stime Intervallo di confidenza Adattamento del modello Descriptive e dalla finestra Residuals => Durbin Watson Casewise Diagnostics, con Outliers outside: 2 standard deviations Poi Continua e si trona nella precedente finestra dove si seleziona Save => dalla finestra Predicted values => Unstandardized dalla finestra Residuals => Standardized (in questo modo vengono salvate nella Window SPSS data editor, contenente la matrice di dati le variabili PRE_1 e ZRE_1 e Studentized deleted (cioè Per cancellazione studentizzati viene salvata nella Window SPSS data editor la variabile SDR_1) dalla finestra Distances => Cook s and Leverage values (vengono salvate nella Window SPSS data editor le variabili COO_1 e LEV_1) dalla finestra Influence Statistics => Standardized DfBeta(s) e DfFit(vengono salvate nella Window SPSS data editor le variabili DIFF_1, SDB0_0, SDB1_1) Poi Continua e si trona nella precedente finestra dove si seleziona Plots => Histogram e Normal probability plot Poi Continua e si trona nella precedente finestra dove si seleziona OK Analisi dell output Statistica descrittiva Media Deviazione std. N sconto,3943, leverage,4020, size,0449,

10 Correlazioni sconto leverage size Correlazione di Pearson sconto 1,000,275,313 leverage,275 1,000,588 size,313,588 1,000 Sign. (a una coda) sconto.,071,046 leverage,071.,000 size,046,000. N sconto leverage size Variabili immesse/rimosse a Variabili Modello immesse Variabili rimosse Metodo 1 size, leverage b. Inserisci b. Sono state immesse tutte le variabili richieste. Riepilogo del modello b Modello R R-quadrato R-quadrato adattato Errore std. della stima Durbin-Watson 1,333 a,111,045, ,488 a. Predittori: (costante), size, leverage b. Variabile dipendente: sconto ANOVA a Somma dei Media Modello quadrati gl quadratica F Sign. 1 Regressione,085 2,043 1,678,206 b Residuo,685 27,025 Totale, b. Predittori: (costante), size, leverage La tabella ANOVA contiene la somma dei quadrati del modello di regressione (Regression), la somma dei quadrati dei residui (Residuals) e la somma dei quadrati totali (Total). Se la statistica F è altamente significativa (con un p -value prossimo a zero) si rifiuta l ipotesi nulla del test H0 (parametro = zero) contro H1 (parametro 0 per almeno un parametro).

11 Coefficienti a Coefficienti non standardizzati Coefficien ti standardi zzati 95,0% Intervallo di confidenza per B Statistiche di collinearità Modello B Errore std. Beta t Sign. Limite inferiore Limite superiore Tollera nza VIF 1 (Costa nte),301,059 5,121,000,180,422 leverag e,076,123,139,619,541 -,176,328,654 1,528 size 1,397 1,356,231 1,031,312-1,384 4,178,654 1,528 La tabella Coefficients (Coefficienti) - come al solito - contiene le stime dei parametri del modello, gli errori standard degli stimatori ottenuti con il metodo dei minimi quadrati (Std.Error) e le statistiche (t), i p-values (Sig.) dei test di Students e gli intervalli di confidenza che verificano se i parametri siano significativamente diversi da zero. Si può respingere l ipotesi nulla per l intercetta del modello. Entrambi gli altri parametri non risultano significativamente differenti da zero. Dal momento che la matrice di correlazione mette in evidenza che le variabili LEVERAGE e SIZE sono molto correlate (0.588), ci aspettiamo che vi siano problemi di multicollinearità. Nella tabella Coefficients leggiamo i valori delle statistiche Collinearity Statistics: Tolerance e VIF. Per la variabile esplicativa i -esima la statistica Tolerance è data da Tolerance = 1-R 2 i dove R 2 i è il coefficiente di correlazione multipla tra la variabile i -esima e le altre variabili indipendenti. I valori di questa statistica sono compresi tra 0 e 1. Quando questa statistica assume valori piccoli, allora la variabile è una combinazione lineare delle altre variabili indipendenti. La statistica VIF (Variance Inflation Factor) è il reciproco della statistica Tolerance. Un valore soglia per la statistica VIF è rappresentato da 10, che corrisponde a una Tolerance di 0.10) In questo caso i valori di Tolerance associati a LEVERAGE e SIZE non sembrerebbero evidenziare eccessivi problemi di multicollinearità. Commentato [AGQ5]: Assunzione 4 del modello di regressione multipla Vi sono diversi rimedi al problema della multicollinerità, che tuttavia qui non approfondiremo. Un primo passo è chiedersi se sia migliore il modello con due regressori (collineari), o un modello più semplice con un solo regressore. Sappiamo che una misura della bontà del modello è data dal coefficiente di determinazione multipla R 2 Tuttavia, R 2 cresce all aumentare del numero di regressori; perciò, è preferibile considerare l indice R 2 aggiustato (adjusted R 2 ) che tiene conto del numero k di regressori. Non è sorprendente che il valore di R 2 aggiustato rimanga elevato, nonostante la presenza di

12 multicollinearità. La multicollinearità tuttavia rende molto instabili le stime dei coefficienti di correlazione e rende del tutto ambigua l interpretazione del coefficiente di regressione come variazione della variabile dipendente in corrispondenza ad un incremento unitario della variabile esplicativa, quando le rimanenti variabili esplicative sono mantenute costanti. In questo caso, per tutta una serie di considerazioni, si concluderebbe dicendo che è preferibile il modello con il solo regressore LEVERAGE. Diagnostiche di collinearità a Proporzioni varianza Modello Dimensione Autovalore Indice contenuti (Costante) leverage size 1 1 2,695 1,000,03,03,02 2,192 3,746,70,53,00 3,113 4,876,27,44,97 Diagnostiche casewise a Numero di caso Residuo std. sconto Valore previsto Residuo 4-2,319,01,3749 -,36953

13