Metodi statistici per la ricerca sociale Capitolo 11. Regressione Multipla e Correlazione

Transcript

1 Metodi statistici per la ricerca sociale Capitolo 11. Regressione Multipla e Correlazione Alessandra Mattei Dipartimento di Statistica, Informatica, Applicazioni (DiSIA) Università degli Studi di Firenze mattei@disia.unifi.it LM 88 SOCIOLOGIA E RICERCA SOCIALE A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 1 / 70

2 Relazioni Multivariate Lo studio di un fenomeno collettivo richiede in genere la rilevazione, su ogni singola unità statistica, di molteplici caratteri che devono a essere analizzati simultaneamente Analisi delle relazioni che intercorrono tra le variabili che caratterizzano il fenomeno Variabili di controllo A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 2 / 70

3 Variabili di controllo Obiettivo: Studiare l associazione tra una variabile Y e una variabile X 1 Studiare l associazione tra Y e X 1 controllando per le altre variabili: Come cambia l associazione tra X 1 e Y tenendo conto della presenza di altre variabili? Controllare (aggiustare) per altre variabili significa rimuovere l influenza di tali variabili fissando il loro valore Studi sperimentali: I fattori di controllo (di stratificazione) sono fissati dallo sperimentatore e mantenuti costanti Studi osservazionali: Raggruppare unità con valori uguali (o simili) delle variabili di controllo A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 3 / 70

4 Variabili di controllo: Esempi Esempio 1: Studio sperimentale Obiettivo: Valutare l effetto della dimensione delle classi in asili sul punteggio a un test cognitivo Unità di analisi: Insegnante Variabile esplicativa di interesse (Trattamento): Classe piccola (13-17 bambini) versus classe regolare (22-25 bambini) Variabile di controllo (Fattore di stratificazione): Asilo Variabile risultato (variabile al livello di classe): media dei punteggi al test cognitivo dei bambini della classe a cui un insegnante è assegnato Esempio 2: Studio osservazionale Studio della relazione tra reddito e gli anni di istruzione Il reddito può essere influenzato dal genere Variabile di controllo: Genere Si può controllare per il genere analizzando l associazione tra il reddito e gli anni di istruzione separatamente per ogni livello della variabile di controllo A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 4 / 70

5 Il modello di regressione lineare multipla I dati consistono di n osservazioni su una variabile dipendente (risposta), Y, e k variabili esplicative X 1,..., X k Osservazione Risposta Variabili esplicative u i Y i x i1 x i2 x ik 1 y 1 x 11 x 12 x 1k 2 y 2 x 21 x 22 x 2k 3 y 3 x 31 x 32 x 3k n y n x n1 x n2 x nk A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 5 / 70

6 Performance delle scuole elementari u i y i x i1 x i2 x i3 u i y i x i1 x i2 x i u = Scuola elementare (n = 24) Y = Indice di performance accademiche della scuola X 1 = Dimensione media di classe X 2 = Percentuale di insegnanti di ruolo X 3 = Percentuale di studenti le cui famiglie hanno un reddito al di sotto della soglia di povertà A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 6 / 70

7 Performance delle scuole elementari Ŷ i = x i1 Ŷ i = x i2 Indice di performance della scuola Indice di performance della scuola Dimensione media di classe Percentuale insegnanti di ruolo A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 7 / 70

8 Performance delle scuole elementari: Diagramma a dispersione tridimensionale Indice di performance della scuola Percentuale insegnanti di ruolo Dimensione media di classe A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 8 / 70

9 Il modello di regressione lineare multipla Le osservazioni y 1,..., y i,..., y n sono realizzazioni di variabili aleatorie Y 1,..., Y i,..., Y n Normali indipendenti aventi media che è funzione lineare delle variabili esplicative X 1,..., X k, e varianza costante indipendentemente dal valore delle variabili esplicative X 1,..., X k : Per i = 1,..., n Y i X i1 = x i1,... X ik = x ik N(β 0 + β 1 x i1 + + β k x ik, σ 2 ) indipendenti Quindi, per ogni i = 1,..., n e E (Y i X i1 = x i1,... X ik = x ik ) = β 0 + β 1 x i1 + + β k x ik Var(Y i X i = x i ) = σ 2 (ipotesi di omoschedasticità) A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 9 / 70

10 Il modello di regressione lineare multipla: Assunzioni Assunzione 1. Per ogni unità i = 1,..., n Y i = β 0 + β 1 x i1 + β 2 x i2 + + β k x ik + ɛ i Assunzione 2. Gli errori ɛ i, i = 1,..., n, sono variabili aleatorie indipendenti aventi media nulla e varianza costante indipendentemente dal valore delle variabili esplicative X 1,..., X k : Per i = 1,..., n ɛ i N(0, σ 2 ) indipendenti A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 10 / 70

11 Il modello di regressione lineare multipla Esempio: Performance delle scuole elementari Ê (Y i X i1 = x i1, X i2 = x i2 ) = x i x i2 Indice di performance della scuola Percentuale insegnanti di ruolo Dimensione media di classe A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 11 / 70

12 Interpretazione dei coefficienti di regressione Modello di regressione lineare multipla Y i = β 0 + β 1 x i1 + + β k x ik + ɛ i i = 1,..., n I parametri di regressione β 1,..., β k sono chiamati coefficienti di regressione parziale Il parametro β 0 (constante) rappresenta il valore atteso della variabile risposta Y per X 1 = X 2 = = X k = 0 E (Y i X i1 = 0, X i2 = 0,..., X ik = 0) = β 0 + β β k 0 = β 0 Il parametro β j (coefficiente di regressione parziale) descrive come la variabile risposta Y varia in media per ogni incremento unitario della variabile esplicativa X j quando tutte le altre variabili sono tenute costanti La grandezza della variazione non dipende dai valori a cui sono fissate le altre variabili esplicative Il parametro β j rappresenta l effetto (il contributo) della variabile esplicativa X j controllando per le altre variabili A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 12 / 70

13 Interpretazione dei coefficienti di regressione Esempio: Performance delle scuole elementari Y i = β 0 + β 1 x i1 + β 2 x i2 + ɛ i Ŷ i = β 0 + β 1 x i1 + β 2 x i2 = x i x i2 Le performance attese di scuole elementari con dimensione media di classe nulla e percentuale di insegnanti di ruolo pari a zero sono Per un incremento unitario della dimensione media di classe le performance attese delle scuole elementari diminuiscono di 2.31 punti, fissato il valore della percentuale di insegnanti di ruolo, ossia controllando per la percentuale di insegnanti di ruolo Per un incremento unitario nella percentuale di insegnanti di ruolo, le performance delle scuole elementari aumentano in media di 0.58 punti, fissato il valore della dimensione media di classe, ossia controllando per dimensione media di classe A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 13 / 70

14 Interpretazione dei coefficienti di regressione Esempio: Performance delle scuole elementari Ŷ i = β 0 + β 1 x i1 + β 2 x i2 = x i x i2 Indice di performance della scuola Percentuale insegnanti di ruolo Dimensione media di classe A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 14 / 70

15 Interpretazione dei coefficienti di regressione: Regressioni parziali Esempio: Performance delle scuole Ŷ i = x i x i2 = x i1 se x x i1 se x x i1 se x2 = 70 (a) = 80 (b) = 90 (c) Indice di performance della scuola (c) (b) (a) Dimensione media di classe A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 15 / 70

16 Interpretazione dei coefficienti di regressione: Regressioni parziali Esempio: Performance delle scuole Ŷ i = xi x i2 = x i2 se x x i2 se x x i2 se x1 = 16 (a) = 20 (b) = 24 (c) Indice di performance della scuola (a) (b) (c) Percentuale insegnanti di ruolo A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 16 / 70

17 Stima puntuale dei coefficienti di regressione Il metodo dei minimi quadrati Il metodo dei minimi quadrati consiste nel ricercare quei valori di β 0, β 1,..., β k che rendono minima la funzione G(β 0, β 1,..., β k ) = Valori Teorici n i=1 ŷ i = β 0 + β 1 x i1 + + β k x ik (y i β 0 β 1 x i1 β k x ik ) 2 i = 1,..., n I valori teorici sono i valori di Y forniti dal modello di regressione stimata in corrispondenza dei valori osservati x i1,..., x ik, i = 1,..., n La funzione di regressione stimata fornisce una stima della media di Y al variare di X 1,..., X k Residui di regressione ê i = y i ŷ i = y i β 0 β 1 x i1 β k x ik i = 1,..., n A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 17 / 70

18 Valori teorici e residui di regressione Esempio: Performance delle scuole elementari Ŷ i = β 0 + β 1 x i1 + β 2 x i2 = x i x i2 Scuola x 1 x 2 y i ŷ i ê i Ŷ 10 = = ê 24 = Y 24 Ŷ24 = = 73.3 ( ) = 0.20 A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 18 / 70

19 Alcune proprietà Il valore atteso della variabile risposta in corrispondenza dei valori (x 1,..., x k ) è y β 0 + β 1 x β k x k = y La somma (media) dei valori teorici è uguale alla somma (media) dei valori osservati n i=1 ŷ i = n i=1 y i ŷ = 1 n La somma dei residui è uguale a zero ê ê n = n i=1 n i=1 ŷ i = 1 n ê i = 0 n i=1 y i = y A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 19 / 70

20 Esempio: Performance delle scuole elementari Ŷ i = β 0 + β 1 x i1 + β 2 x i2 = x i x i2 x 1 = = x 2 = = y = = β 0 + β 1 x 1 + β 2 x 2 = = y Indice di performance della scuola Percentuale insegnanti di ruolo i=1 ŷ i = = Dimensione media di classe 24 y i i=1 e 24 i=1 ê i = 0 A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 20 / 70

21 Scomposizione della somma dei quadrati Somma dei Somma dei Somma dei Quadrati = Quadrati della + Quadrati degli Totale Regressione Errori n i=1 (y i y) 2 = n i=1 (ŷ i y) 2 + (y i ŷ i ) 2 n i=1 A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 21 / 70

22 Scomposizione della somma dei quadrati Somma dei Quadrati Totale Devianza Totale TSS = n i=1 (y i y) 2 = n i=1 y 2 i n y 2 Somma dei Quadrati di Regressione Devianza di Regressione (Devianza Spiegata): Devianza dei valori teorici RSS = n i=1 (ŷ i y) 2 Somma dei Quadrati dei Residui Devianza Residua SSE = n i=1 (y i ŷ i ) 2 = n i=1 (ê i ) 2 A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 22 / 70

23 Indice di determinazione multipla R 2 = RSS TSS = 1 SSE TSS Indica la proporzione di variabilità totale di Y spiegata dalla variabili esplicative X 1,..., X k attraverso il modello di regressione R 2 non dipende dall unità di misura delle variabili 0 R 2 1 R 2 = 0 (RSS = 0 e SSE = TSS) ŷ i = β 0 + β 1 x i1 + + β k x ik = β 0 = y per ogni i R 2 = 1 (RSS = TSS e SSE = 0): tutti i residui sono nulli (il modello passa per tutti i punti campionari) R 2 NON può diminuire se si aggiungono variabili esplicative R 2 R 2 YX j per ogni j = 1,..., k A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 23 / 70

24 Indice di determinazione multipla Esempio: Performance delle scuole elementari Scuola y i ŷ i (y i ȳ) 2 (ŷ i ȳ) 2 êi Totale A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 24 / 70

25 Indice di determinazione multipla Esempio: Performance delle scuole elementari TSS = RSS = SSE = TSS = = = RSS + SSE R 2 = RSS TSS = = R 2 = 1 SSE TSS = = = L 89.4% della variabilità totale delle performance delle scuole è spiegata dal modello di regressione lineare Si noti che R 2 = > R 2 Y,X 1 = e R 2 = > R 2 Y,X 2 = A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 25 / 70

26 Coefficiente di correlazione multipla Il coefficiente di correlazione multipla è il coefficiente di correlazione campionario tra i valori osservati della variabile risposta e i valori teorici R = r Y, Ŷ = s Y,Ŷ s Y sŷ n (y i ȳ) (ŷ i ŷ) i=1 = n n (y i ȳ) 2 (ŷ i ŷ) 2 i=1 i=1 0 R 1 Si può dimostrare che R = + (R 2 ) A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 26 / 70

27 Coefficiente di correlazione multipla Esempio: Performance delle scuole elementari Scuola y i ŷ i (y i ȳ) 2 (ŷ i ȳ) 2 êi Totale A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 27 / 70

28 Coefficiente di correlazione multipla Esempio: Performance delle scuole elementari R = r Y, Ŷ = = R = + R 2 = = A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 28 / 70

29 Indice di determinazione multipla corretto R 2 Adjusted = 1 SSE/(n k 1) TSS/(n 1) R 2 Adjusted R2 Introducendo una nuova variabile esplicativa nel modello R 2 Adjusted può aumentare o diminuire a seconda di quanto si riduce la somma dei quadrati dei residui (SSE) Può assumere valori negativi A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 29 / 70

30 Indice di determinazione multipla corretto Esempio: Performance delle scuole elementari Quindi TSS = RSS = SSE = n = 24 k = 2 R 2 Adjusted /(24 2 1) = /(24 1) = = = Modello R 2 RAdjusted 2 Solo x Solo x x 2 + x A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 30 / 70

31 Stima della varianza degli errori s 2 = SSE n k 1 = ê ê2 n n k 1 = n i=1 ê2 i n k 1 = n i=1 ê2 i gdl È uno stimatore non distorto della varianza degli errori σ 2 Errore Standard di regressione s = s 2 n i=1 = ê2 i n k 1 s è una misura della variabilità degli scostamenti dei valori osservati dai valori teorici: misura la dispersione media dello stimatore intorno al suo valore atteso A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 31 / 70

32 Stima della varianza degli errori Esempio: Performance delle scuole elementari e Quindi s 2 = Ŷ i = β 0 + β 1 x i1 + β 2 x i2 = x i x i2 SSE = n = 24 SSE n k 1 = = e s = s 2 = = 3.44 A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 32 / 70

33 Stimatori dei minimi quadrati Nel modello di regressione multipla le caratteristiche della popolazione che interessa studiare sono i coefficienti β 0, β 1,..., β k Indichiamo con B 0, B 1,..., B k gli stimatori dei minimi quadrati Il valori assunti da B 0, B 1,..., B k in corrispondenza di un particolare campione sono detto stime dei minimi quadrati dei coefficienti di regressione β 0, β 1,..., β k : β 0, β 1,..., β k = stime dei minimi quadrati dei coefficienti di regressione β 0, β 1,..., β k Gli stimatori dei minimi quadrati hanno buone proprietà: Sono stimatori non distorti con varianza minima nella classe degli stimatori corretti di un certo tipo A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 33 / 70

34 Inferenza per i parametri del modello di regressione B j N (β j, var( B j )) B j β j e.s.( B N (0, 1) j ) dove e.s.( B j ) = j = 0, 1,..., k var( B j ) = σ 2 c jj errore standard dello stimatore B j. dove B j β j ê.s.( B j ) t n k 1 ê.s.( B j ) = s 2 c jj s 2 = SSE n k 1 = n i=1 ê2 i n k 1 = n i=1 (y i ŷ i ) 2 n k 1 j = 0, 1,..., k A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 34 / 70

35 Intervalli di confidenza per i coefficienti di regressione Fissato il livello di confidenza 1 α IC 1 α (β j ) = [ β j t n k 1 (α/2) ê.s.( B j ); β j + t n k 1 (α/2) ê.s.( B j )] dove t n k 1 (α/2) è tale che Pr ( t α/2,n k 1 < t n k 1 < t α/2,n k 1 ) = 1 α A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 35 / 70

36 Intervalli di confidenza per i coefficienti di regressione Esempio: Performance delle scuole elementari Variabile Stima Errore Standard Constante Dimensione di classe Percentuale insegnanti di ruolo Errore standard di regressione s = 3.44 con 21 gdl Fissato il livello di confidenza 1 α = 0.95, t 21 (0.025) = IC 0.95 (β 0 ) = [ ; ] = [51.08; 99.34] IC 0.95 (β 1 ) = [ ; ] = [ 2.77; 1.85] IC 0.95 (β 2 ) = [ ; ] = [0.33; 0.83] A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 36 / 70

37 Verifica di ipotesi su un singolo parametro Per j = 0, 1,..., k H 0 β j = 0 versus H a β j 0 Statistica Test T = B j ê.s.( B j ) t n k 1 Sotto H 0 Regione di rifiuto al livello di significatività α RC α T t (n k 1),α/2 o T t (n k 1),α/2 Utilizzo del p value = 2 [1 Pr (t n k 1 T oss ; H 0 )] Se NON è rifiutata l ipotesi nulla H 0 β j = 0, allora si conclude che il coefficiente di regressione β j non è statisticamente diverso da zero al livello di significatività α: i dati suggeriscono che non esiste una associazione (parziale) tra Y e X j A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 37 / 70

38 Verifica di ipotesi Esempio: Performance delle scuole elementari Variabile Stima Errore Standard Constante Dimensione di classe Percentuale insegnanti di ruolo Errore standard di regressione s = 3.44 con 21 gdl Fissato il livello di significatività α = 0.05, t 21 (0.025) = T β1 oss = β Toss β0 0 = ê.s.( B 0 ) = = 6.48 β 1 ê.s.( B 1 ) = 2.31 β2 = Toss = 0.22 β 2 ê.s.( B 2 ) = = 4.83 Si ha evidenza al livello del 5% che le performance delle scuole elementari siano associate con la dimensione di classe, controllando per la percentuale di insegnanti di ruolo Si ha evidenza al livello del 5% che le performance delle scuole elementari siano associate con la percentuale di insegnanti di ruolo, controllando per la dimensione di classe A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 38 / 70

39 Intervalli di confidenza e verifica di ipotesi Ipotesi. Per j = 0, 1,..., k H 0 β j = 0 versus H a β j 0 Regione critica al livello di significatività α RC α = t t n k 1 (α/2) oppure t t n k 1 (α/2) Calcolato il valore osservato della statistica test T β j oss = H 0 β j = 0 se T β j oss RC α Fissato il livello di confidenza 1 α β j ± t n k 1 (α/2) ê.s.( B j ) β j ê.s.( B j ) si rifiuta L intervallo di confidenza include lo zero? No il parametro è significativamente diverso da zero: il valore osservato della statistica test appartiene alla regione critica Si il parametro NON è significativamente diverso da zero: il valore osservato della statistica test NON appartiene alla regione critica A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 39 / 70

40 Stimatore della risposta media: E[Y i X i1 = x 1,..., X ik = x k ] Ŷ x = B 0 + B 1 x B k x k Correttezza E (Ŷx ) = β 0 + β 1 x + + β k x k Varianza e errore Standard di Ŷ x 1,...,x k Var (Ŷx 1,...,x k ) e.s. (Ŷx 1,...,x k ) = Var (Ŷx 1,...,x k ) La varianza e l errore standard dello stimatore della risposta media, Ŷ x 1,...,x k, dipende da σ2 (la varianza degli errori del modello di regressione) Stimatore della varianza e dell errore standard dello stimatore di Ŷ x 1,...,x k Var (Ŷx 1,...,x k ) ê.s. (Ŷx 1,...,x k ) = Var ( Ŷ x 1,...,x k ) Intervallo di confidenza al livello di confidenza del (1 α) IC 1 α (E[Y i X i1 = x 1,..., X ik = x k ]) = Ŷx 1,...,x k ± t n k 1,α/2ê.s. (Ŷx 1,...,x k ) A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 40 / 70

41 Previsione Previsione Ŷ P x 1,...,x k = B 0 + B 1 x B k x k Varianza e errore Standard di Ŷ x 1,...,x k Var (Ŷ P x1,...,x ) e.s. (Ŷ P x k 1,...,x ) = k Var (Ŷ P x1,...,x ) k La varianza e l errore standard dello stimatore Ŷ P x1,...,x, dipende da σ 2 k (la varianza degli errori del modello di regressione) Stimatore della varianza e dell errore standard dello stimatore di Ŷ P x1,...,x k Var (Ŷ P x1,...,x ) ê.s. (Ŷ P x k 1,...,x ) = Var (Ŷ P k x1,...,x ) k Intervallo di confidenza al livello di confidenza del (1 α) IC 1 α (Y P x1,...,x ) = Ŷ P x k 1,...,x ± t k n k 1,α/2 ê.s. (Ŷ P x1,...,x ) k A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 41 / 70

42 Esempio: Performance delle scuole elementari x 1 = 20 e x 2 = 80 Ŷ i = β 0 + β 1 x i1 + β 2 x i2 = x i x i2 Stima della risposta media e previsione: Ŷ x 1,x 2 = ŶP x 1,x 2 = = Stima dell errore standard dello stimatore della risposta media e della previsione ê.s. (Ŷx 1,x 2 ) = P ê.s. (Ŷx1,x ) = Intervallo di confidenza al livello di confidenza del (1 α) = 0.95 IC 1 α (E[Y i X i1 = 20, X 2i = 80]) = ± = (73.754; ) Intervallo di previsione al livello di confidenza del (1 α) = 0.95 IC 1 α (Y P x1,x ) = ± = (67.938; ) 2 A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 42 / 70

43 Il test F Il test F è una procedura per verificare ipotesi riguardanti uno o più coefficienti di regressione Obiettivo: verificare l ipotesi che due o più parametri siano congiuntamente pari a zero Tale ipotesi sottintende che le variabili esplicative corrispondenti ai parametri supposti nulli non sono utili a spiegare la relazione lineare con la variabile dipendente Y A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 43 / 70

44 Il test F per valutare l influenza complessiva delle variabili esplicative Y i = β 0 + β 1 x i1 + β 2 x i2 + + β k x ik + ɛ i Ipotesi H 0 β 1 = β 2 = = β k = 0 versus H a Almeno un β j 0 Oppure, equivalentemente Statistica test j = 1,..., k H 0 Correlazione multipla nella popolazione = 0 versus H a Correlazione multipla nella popolazione > 0 F = R 2 /k (1 R 2 )/(n k 1) F k,(n k 1) Sotto H 0 A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 44 / 70

45 La distribuzione F Fisher F(1, 21) F(2, 50) F(10, 50) F(5, 50) F(2, 21) F(3, 21) F(5, 200) F(5, 30) F(5, 10) F gdl1,gdl 2 0 E[F gdl1,gdl 2 ] = gdl 2 /(gdl 2 2) A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 45 / 70

46 Il test F α = Livello di significatività del test Regione critica di livello α RC α F f k,(n k 1) (α) dove f k,(n k 1) (α) Pr(F gdl1,gdl 2 f k,(n k 1) (α)) = α p value = Pr(F gdl1,gdl 2 F oss ; H 0 ) α p value f α (gdl 1, gdl 2 ) F oss A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 46 / 70

47 Il test F Esempio: Performance delle scuole elementari Ipotesi: H 0 β 1 = β 2 = 0 versus H a β 1 0 o β 2 0 Scomposizione della somma dei quadrati Fonte di Variabilità Simbolo SQ GdL Regressione RSS k = 2 Residua SSE n k 1 = = 21 Totale TSS n 1 = 24 1 = 23 Valore osservato della statistica test R /2 = F oss = ( )/21 = α = 0.05 f 2,21 (0.05) = Regione critica di livello α = 0.05: RC 0.05 = F F oss = > = f 2,21 (0.05) I dati mostrano evidenza contro H 0 al livello di significatività del 5% p value = Pr(F 2, ; H 0 ) = A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 47 / 70

48 La statistica test F come rapporto tra medie dei quadrati Si dimostra che F = F = RSS/k SSE/(n k 1) = RMS MSE R 2 /k (1 R 2 )/(n k 1) = Media dei quadrati di regressione Media dei quadrati dei residui Tavola di Analisi della Varianza (Tavola ANOVA) Fonte di Somma dei Media dei Statistica Variabilità quadrati GdL quadrati F p value Regressione RSS k RMS RMS/MSE p value Residua SSE n k 1 MSE Totale TSS n 1 TMS A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 48 / 70

49 Tavola di Analisi della Varianza (Tavola ANOVA) Esempio: Performance delle scuole elementari Fonte di Somma dei Media dei Statistica Variabilità quadrati GdL quadrati F oss p value Regressione Residua Totale F oss = = A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 49 / 70

50 Modelli di regressione a confronto Modello esteso Y i = β 0 + β 1 x i1 + + β h x ih + + β k x ik + ɛ i versus Modell ridotto Y i = β 0 + β 1 x i1 + + β h x ih + ɛ i Oppure, equivalentemente, H 0 β h+1 = β h+2 = = β k = 0 versus H a Almeno un uguaglianza in H 0 è falsa A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 50 / 70

51 Modelli di regressione a confronto Esempio: Performance delle scuole elementari Y = Indice di performance accademiche della scuola X 1 = Dimensione media di classe X 2 = Percentuale di insegnanti di ruolo X 3 = Percentuale di studenti le cui famiglie hanno un reddito al di sotto della soglia di povertà Quindi Ossia M e Y i = β 0 + β 1 x i1 + β 2 x i2 + β 3 x i3 + ɛ i versus M r Y i = β 0 + β 1 x i1 + ɛ i H 0 β 2 = β 3 = 0 versus H a β 2 0 oppure β 3 0 A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 51 / 70

52 Modelli di regressione a confronto Valori teorici ŷ ie = β 0 + β 1 x i1 + + β h x ih + + β k x ik e ŷ ir = β 0 + β 1 x i1 + + β h x ih Somma dei quadrati degli errori Modello Esteso Modello Ridotto SSE e = n (y i ŷ ie ) 2 con gdl e = n k 1 i=1 SSE r = n (y i ŷ ir ) 2 con gdl r = n h 1 i=1 Indice di determinazione multipla R 2 e = 1 SSE e TSS e R 2 r = 1 SSE r TSS SSE r SSE e e R 2 r R 2 e e gdl r = n h 1 > gdl e = n k 1 A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 52 / 70

53 Modelli di regressione a confronto Statistica Test F = (SSE r SSE e )/(gdl r gdl e ) = (SSE r SSE e )/(k h) SSE e /gdl e SSE e /(n k 1) F = (R2 e R 2 r )/(gdl r gdl e ) (1 R 2 e )/gdl e = (R2 e R 2 r )/(k h) (1 R 2 e )/(n k 1) dove gdl r gdl e = k h = numero di termini aggiuntivi presenti nel modello esteso (numero di parametri posti a zero sotto H 0 ) Sotto l ipotesi nulla F F (gdlr gdl e),gdl e = F k h,n k 1 Regione di rifiuto al livello di significatività α: RC α F f k h,(n k 1) (α) p value = Pr(F k h,n k 1 F oss ; H 0 ) A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 53 / 70

54 Modelli di regressione a confronto Esempio: Performance delle scuole elementari Ipotesi M e Y i = β 0 + β 1 x i1 + β 2 x i2 + β 3 x i3 + ɛ i versus M r Y i = β 0 + β 1 x i1 + ɛ i H 0 β 2 = β 3 = 0 versus H a β 2 0 oppure β 3 0 Statistica test F F oss = = Modello SSE GdL R 2 Ridotto Esteso Totale ( )/(22 20) /20 ( )/(22 20) ( )/20 = / /20 = 14.3 = / /20 = 14.3 A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 54 / 70

55 Modelli di regressione a confronto Esempio: Performance delle scuole elementari Regione critica al livello di significatività α = 0.05: RC 0.05 F f 2,20 (0.05) = 3.49 F oss = 14.3 > 3.49 I dati mostrano evidenza contraria all ipotesi nulla al livello di significatività del 5%: Al livello di significatività del 5% il modello esteso è preferibile al modello ridotto p value p value = Pr(F 2, ; H 0 ) = A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 55 / 70

56 Modelli di regressione a confronto Esempio: Performance delle scuole elementari Ipotesi M e Y i = β 0 + β 1 x i1 + β 2 x i2 + β 3 x i3 + ɛ i versus M r Y i = β 0 + β 1 x i1 + β 2 x i2 + ɛ i Statistica test F F oss = H 0 β 3 = 0 versus H a β 3 0 Modello SSE GdL R 2 Ridotto Esteso Totale ( )/(21 20) /20 = /20 = 3.05 Regione critica al livello di significatività α = 0.05: RC 0.05 F f 1,20(0.05) = 4.35 F oss = 3.05 < 4.35 I dati non mostrano evidenza contraria all ipotesi nulla al livello di significatività del 5%: Al livello di significatività del 5% il modello ridotto è preferibile al modello esteso p value = Pr(F 1, ; H 0) = A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 56 / 70

57 Relazione tra la statistica test F e la statistica test T H 0 β j = 0 versus H a β j 0 j = 0, 1,..., k Statistica Test B j F = ( ê.s.( B j ) ) t 2 n k 1 F 1,(n k 1) Regione critica di livello α 2 = (T ) 2 F 1,n k 1 Sotto H 0 RC α F f 1,(n k 1) (α) = t 2 (n k 1) (α/2) p value Pr(F 1,n k 1 F oss ; H 0 ) = Pr (t n k 1 T oss o t n k 1 T oss ; H 0 ) A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 57 / 70

58 Test F e Test T Esempio: Performance delle scuole elementari H 0 β 3 = 0 versus H a β 3 0 Errore Variabile Stima Standard t p value Constante Dimensione media di classe Percentuale insegnanti di ruolo Percentuale studenti poveri Errore standard di regressione s = 3.28 con 20 gdl Fissato il livello di significatività α = 0.05, t 20(0.025) = F 1,20(0.05) = 4.35 = (2.086) 2 = t 2 20(0.025) F β 3 oss = (T β 3 oss) 2 = ( ) = ( 1.75) 2 = 3.05 p value = Pr(F 1, ; H 0) = Un procedimento analogo può essere applicato per gli altri coefficienti A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 58 / 70

59 Test F e test T nel modello di regressione lineare semplice Y i = β 0 + β 1 x i1 + ɛ i1 Errore Variabile Stima Standard t p value Constante Dimensione media di classe Errore standard di regressione s = con 22 gdl Fonte di Somma dei Media dei Statistica Variabilità quadrati GdL quadrati F p value Regressione Residua Totale F oss = = = ( 8.742)2 = T 2 A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 59 / 70

60 Modelli di regressione a confronto: Modello Esteso versus Modello Nullo Ipotesi M e Y i = β 0 + β 1 x i1 + + β k x ik + ɛ i versus M r Y i = β 0 + ɛ i H 0 β 1 = = β k = 0 versus H a Almeno un uguaglianza in H 0 è falsa Statistica test F = (SSE r SSE e )/(k h) SSE e /(n k 1) Modello SSE GdL Ridotto TSS n 1 Esteso SSE n k 1 Regione critica al livello di significatività α = RC α p value = Pr(F k,n k 1 F oss ; H 0 ) RSS/k SSE/(n k 1) = RMS MSE F k,n k 1 Sotto H 0 F f k,n k 1 (α) A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 60 / 70

61 Modello Esteso versus Modello Nullo Esempio: Performance delle scuole elementari Sistema di ipotesi M e Y i = β 0 + β 1 x i1 + β 2 x i2 + ɛ i versus M r Y i = β 0 + ɛ i Statistica test H 0 β 1 = β 2 = 0 versus H a β 1 0 oppure β 2 0 F oss = (SSE r SSE e )/(k h) = SSE e /(n k 1) oppure... Modello SSE GdL Ridotto Esteso Totale ( )/(2 0) /21 = A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 61 / 70

62 Modello Esteso versus Modello Nullo Esempio: Performance delle scuole elementari Tavola ANOVA F oss = Fonte di Somma dei Media dei Statistica Variabilità quadrati GdL quadrati F oss p value Regressione Residua Totale RSS/k ( )/(2 0) = = SSE e /(n k 1) / = Regione critica al livello di significatività α = 0.05 RC 0.05 F f 2,21 (0.05) = F oss > 3.467: I dati mostrano evidenza contraria all ipotesi nulla al livello di significatività del 5%. p value p value = Pr(F 2, ; H 0 ) = A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 62 / 70

63 Interazione tra variabili (Effetti di secondo ordine) Esiste interazione tra due variabili esplicative quantitative se l associazione tra la variabile risposta Y e ciascuna delle due variabili cambia al variare del valore dell altra variabile esplicativa Termine di interazione = prodotto tra le due variabili (prodotto incrociato) Esempio Y i = β 0 + β 1 x i1 + β 2 x i2 + β 3 x i1 x i2 + ɛ i Y i = (β 0 + β 2 x i2 ) + (β 1 + β 3 x i2 ) x i1 + ɛ i Y i = (β 0 + β 1 x i1 ) + (β 2 + β 3 x i1 ) x i2 + ɛ i La variazione attesa in Y per un incremento unitario di X 1 dipende dal valore di X 2. Analogamente la variazione attesa in Y per un incremento unitario di X 2 dipende dal valore di X 1 A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 63 / 70

64 Interpretazione dei coefficienti di regressione Esempio: Performance delle scuole elementari Ŷ i = β0 + β 1 x i1 + β 2 x i2 + β 3 x i1 x i2 = x i x i x i1 x i2 β 0 = = performance attese in scuole con dimensione media di classe zero e percentuale di insegnanti di ruolo zero β 1 = 1.15: Per le scuole in cui la percentuale di insegnanti di ruolo è zero, un incremento unitario nella dimensione media di classe implica un incremento atteso nelle performance medie di 1.15 punti β 2 = 1.37: Per le scuole in cui la dimensione media di classe è zero, un incremento unitario della percentuale di insegnanti di ruolo implica un incremento atteso nelle performance medie di 1.37 punti β 3 = 0.04: l associazione parziale tra le performance delle scuole e la dimensione media di classe varia di 0.04 punti per ogni incremento unitario della percentuale di insegnanti di ruolo ovvero l associazione parziale tra le performance delle scuole e la percentuale di insegnanti di ruolo varia di 0.04 punti per ogni incremento unitario della dimensione media di classe A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 64 / 70

65 Interpretazione dei coefficienti di regressione Esempio: Performance delle scuole elementari Ŷ = x i xi x i1 xi2 Quindi x i1 se x2 = 70 (a) x i1 se x2 = 80 (b) x i1 se x2 = 90 (c) Indice di performance della scuola (c) (b) (a) Dimensione media di classe A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 65 / 70

66 Interpretazione dei coefficienti di regressione Esempio: Performance delle scuole elementari Ŷ = x i xi x i1 xi2 Quindi x i2 se x1 = 16 (a) x i2 se x1 = 20 (b) x i2 se x1 = 24 (c) Indice di performance della scuola (a) (b) (c) Percentuale insegnanti di ruolo A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 66 / 70

67 Verifica di ipotesi per il termine di interazione Per la verifica di ipotesi su un termine di interazione si procede in modo analogo alla verifica di ipotesi su un singolo coefficiente del modello di regressione Esempio: Y i = β 0 + β 1 x i1 + β 2 x i2 + β 3 x i1 x i2 + ɛ i Ipotesi H 0 β 3 = 0 versus H a β 3 0 Statistica Test B 3 T = ê.s.( B 3 ) t n k 1 k = 3 Sotto H 0 Regione critica al livello α: RC α T oss t n 3 1,α/2 o T oss t n 3 1,α/2 Se l evidenza contro l ipotesi nulla (ossia a favore della presenza di in termine di interazione tra due variabili esplicative) è debole in genere si preferisce eliminare il termine di interazione e considerare un modello con solo gli effetti principali delle due variabili Se l evidenza contro l ipotesi nulla (ossia a favore della presenza di in termine di interazione tra due variabili esplicative) è forte, allora è opportuno mantenere sia il termine di interazione sia gli effetti principali delle due variabili A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 67 / 70

68 Esempio: Performance delle scuole elementari Errore Variabile Stima Standard t p value Constante Dimensione media di classe Percentuale insegnanti di ruolo Interazione Errore standard di regressione s = con 20 gdl Fonte di Somma dei Media dei Statistica Variabilità quadrati GdL quadrati F p value Regressione Residua Totale Il termine di interazione non è significativamente diverso da zero Notare la perdita di significatività degli effetti principali delle due variabili rispetto al modello senza interazione a causa di un elevata correlazione tra le variabili esplicative e la loro interazione: r X1,X 1 X 2 = 0.906, r X2,X 1 X 2 = A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 68 / 70

69 Variabili esplicative centrate rispetto alla media Esempio: Performance delle scuole elementari Quindi Y i = β 0 + β 1 (x i1 x 1) + β 2 (x i2 x 2) + β 3 (x i1 x 1) (x i2 x 2) + ɛ i x 1 = e x 2 = Errore Variabile Stima Standard t p value Constante Dimensione media di classe centrata rispetto alla sua media Percentuale insegnanti di ruolo centrata rispetto alla sua media Interazione Errore standard di regressione s = con 20 gdl A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 69 / 70

70 Variabili esplicative centrate rispetto alla media Esempio: Performance delle scuole elementari β 0 = = performance attese in scuole con dimensione media di classe e percentuale di insegnanti di ruolo zero pari alle loro medie (x 1 = e x 2 = 80.33, rispettivamente) β 1 = 2.26: Per le scuole in cui la percentuale di insegnanti di ruolo è pari alla media, x 2 = 80.33, un incremento unitario nella dimensione media di classe (centrata) determina una riduzione attesa nelle performance medie di 2.26 punti β 2 = 0.55: Per le scuole in cui la dimensione media di classe è pari alla media, x 1 = 19.42, un incremento unitario della percentuale di insegnanti di ruolo (centrata), implica un incremento atteso nelle performance medie di 0.55 punti β 3 = 0.04: uguale al modello con variabili non centrate Gli errori standard dei coefficienti di regressione parziali associati alle variabili esplicative (centrate) sono più simili a quelli del modello senza interazione Le stime degli effetti principali sono più significativi A. Mattei (Università di Firenze) Metodi statistici per la ricerca sociale 70 / 70