Statistica 1 A.A. 2015/2016

Transcript

1 Corso di Laurea in Economia e Finanza Statistica 1 A.A. 2015/2016 (8 CFU, corrispondenti a 48 ore di lezione frontale e 24 ore di esercitazione) Prof. Luigi Augugliaro 1 / 35

2 Il modello di regressione lineare semplice Esempio. Negli studi di settore un ruolo centrale è svolto dalla stima della funzione di ricavo, ovvero quella funzione che esprime l andamento dei ricavi come funzione dei dati strutturali e contabili delle imprese. Di seguito sono riportati i dati relativi alla variabile ricavi (R) e alla variabile costo del venduto (CV), considerata una delle principale variabili contabili delle imprese. CV R CV R CV R Sulla base dei precedenti valori stimare la funzione dei ricavi. Note: L esempio precedente mostra che le due variabili quantitative continue non sono sullo stesso piano logico ma, in funzione dell obiettivo dello studio, la variabile ricavi dipende dalla variabile costo del venduto ; in altri termini siamo interessati ad un analisi asimmetrica. Un primo strumento che consente di ottenere informazioni in merito alla natura della relazione funzionale esistente tra le due variabili in esame è il diagramma a dispersione. 2 / 35

3 Ricavi Costo del venduto Dal grafico a dispersione si evince che al crescere della variabile costo del venduto la variabile ricavi decresce. Sembra evincersi che i punti si addensano lungo una ipotetica retta la quale può essere utilizzata per descrivere analiticamente la dipendenza della variabile ricavi dalla variabile costo del venduto. 3 / 35

4 Ricavi Costo del venduto Il modello di regressione lineare semplice costituisce lo strumento statistico mediante il quale formalizzare la relazione di dipendenza esistente tra le variabili in esame. 4 / 35

5 La specificazione del modello I modelli di regressione si fondano sull ipotesi che esista una relazione funzionale di tipo deterministico tra la variabile di risposta Y e la variabile esplicativa X, denotata con f (x), a cui si aggiunge una componente casuale (stocastica) denotata con ε, ovvero y = f (x) }{{} + ε }{{}. (1) componente deterministica componente stocastica La natura della funzione f (x) dipende dal fenomeno oggetto dello studio, mentre la componente casuale ɛ riassume la nostra ignoranza in merito alla vera natura della relazione che esiste tra X e Y. Per questo motivo la variabile casuale ε viene denominata variabile casuale di errore. Quando si dispone di un campione di numerosità n relativo alla variabile Y, denotato con (y 1, y 2,..., y n e di un campione di numerosità n relativo alla variabile X, denotato con (x 1, x 2,..., x n), il modello (1) viene più correttamente scritto nel seguente modo: y i = f (x i ) + ε i i = 1, 2,..., n. (2) Il generico modello di regressione (1) viene definito modello di regressione lineare semplice quando si assume che f (x i ) = α + βx i, quindi il modello (2) può essere scritto nel seguente modo dove α e β sono dei parametri da stimare. y i = α + βx i + ε i i = 1, 2,..., n. (3) 5 / 35

6 Il modello di regressione lineare semplice y i = α + βx i + ε i i = 1, 2,..., n. è completamente specificato attraverso le seguenti ipotesi classiche sulla componente casuale ε i, ovvero i. le ε i sono caratterizzate da valore atteso nullo, ovvero E(ε i ) = 0 per i = 1, 2,..., n; ii. le ε i sono caratterizzate da varianza costante, ovvero Var(ε i ) = σ 2 per i = 1, 2,..., n (ipotesi di omoschedasticità); iii. le ε i sono stocasticamente indipendenti. iv. le ε i sono distribuite normalmente, ovvero ε i N(0; σ 2 ) per i = 1, 2,..., n. Terminologia La componente deterministica del modello, ovvero la funzione f (x i ) = α+βx i, viene definita retta di regressione di Y su X. Il termine regressione è dovuto ad un lavoro compiuto dal biologo e statistico Galton nel 1886, il quale studiò la relazione tra l altezza dei figli (variabile di risposta Y) e l altezza dei genitori (variabile esplicativa X ). 6 / 35

7 Interpretazione dei parametri α e β Dalle ipotesi classiche, relative alla componente casuale ε, si ricava che la componente deterministica del modello, ovvero α + βx i, descrive il comportamento del livello medio della variabile di risposta Y. Da ciò deriva l interpretazione statistica dei parametri α e β, ovvero i il parametro α rapprensenta il livello medio della variabile di risposta Y quando la variabile esplicativa X assume valore nullo; ii il parametro β rapprensenta la variazione che subisce il levello medio della variabile di risposta Y i quando X i incrementa di una unità. Da un punto di vista geometrico i il parametro α rapprensenta l intercetta della retta α + βx; ii il parametro β rapprensenta il coefficiente angolare della retta α + βx. 7 / 35

8 Stima dei parametri della retta di regressione: il metodo dei minimi quadrati Il metodo di stima dei minimi quadrati venne proposto da K.F. Gauss nel 1795 e consiste nel trovare i valori dei parametri α e β, denotati con ˆα e ˆβ, per cui è minima la somma dei quadrati degli scarti tra i valori osservati della variabile di risposta, denotati con y i, e i corrispondenti valori teorici α + βx i. Formalmente il nostro obiettivo è il seguente: minimizzare rispetto ad α e β la funzione R(α, β) = [y i (α + βx i )] 2 = (y i α βx i ) 2 8 / 35

9 Dato che la funzione R(α, β) è strettamente convessa in α e β, per la risoluzione del problema di minimo min R(α, β) = min (y i α βx i ) 2 α,β α,β è sufficiente determinare i valori ˆα e ˆβ che risolvono il sistema definito mediante le due derivate parziali R(α, β)/ α e R(α, β)/ β. Attraverso l utilizzo della regola della catena per il calcolo delle derivate delle funzioni composte si ricava: R(α, β) = n (y i α βx i ) 2 (y i α βx i ) 2 = α α α = = 2 (y i α βx i ) (y i α βx i ) = 2 (y i α βx i ) α }{{} (4) = 1 R(α, β) β = n (y i α βx i ) 2 = β = 2 (y i α βx i ) (y i α βx i ) β }{{} = x i (y i α βx i ) 2 β = = 2 (y i α βx i )x i (5) 9 / 35

10 Utilizzando la (4) e (5) si ricava che ˆα e ˆβ sono soluzioni del seguente sistema, noto come sistema di equazioni normali (y i ˆα ˆβx i ) = 0 (6) (y i ˆα ˆβx i )x i = 0 Dalla prima equazione del sistema (6) si ricava che y i nˆα ˆβ x i = 0 nˆα = y i ˆβ x i n ˆα = y n i ˆβ x i n n ˆα = M Y ˆβM X (7) dove M Y = n y i /n e M X = n x i /n. L equazione (7) costituisce la formula dello stimatore del parametro α. 10 / 35

11 Dalla seconda equazione del sistema (6) si ricava che y i x i ˆα x i ˆβ xi 2 = 0. Dividendo ambo i membri della precedente equazione per n si ricava che n y i x i n n ˆα n i n x2 i n = 0 M XY ˆαM X ˆβM X 2 = 0. Sostituendo nella precedente equazione la formula ˆα = M Y ˆβM X si ricava M XY (M y ˆβM X )M X ˆβM X 2 = 0 M XY M Y M X + ˆβM 2 X ˆβM X 2 = 0 2 (M XY M y M X ) ˆβ (MX 2 MX }{{}}{{} ) =σ XY =σ 2 X = 0 σ XY ˆβσ 2 X = 0 ˆβ = σ XY σ 2 X L equazione (8) costituisce la formula dello stimatore del parametro β. (8) 11 / 35

12 L equazione (8) consente di ricavare la relazione tra lo stimatore del parametro β e il coefficiente di correlazione lineare di Bravais-Pearson, ovvero ρ = σ XY σ X σ Y = σ XY σ 2 X σ X σ Y = ˆβ σ X σ Y. L equazione precedente mostra che lo stimatore del parametro β è proporzionale al coefficiente di correlazione lineare di Bravais-Pearson. La retta di regressione stimata ŷ = ˆα + ˆβ x (9) consente di determinare il livello medio stimato della variabile di risposta noto un nuovo valore della variabile esplicativa. A tal fine è sufficiente sostituire il nuovo valore di x alla formula (9). 12 / 35

13 Esercizi Un gruppo di ricercatori è interessato a valutare l esistenza di una relazione tra il livello di inquinamento dei fiumi, misurato attraverso la concentrazione media di nitrogeno, e i fertilizzanti utilizzati nelle aziende agricole adiacenti le rive. La tabella riporta il livello medio di nitrogeno, rilevato su dieci fiumi del territorio italiano, e la percentuale di territorio adiacente le rive utilizzato dalle aziende agricole. Fiume Nitrogeno Percentuale i. Rappresentare graficamente i punti osservati e stabilire se esiste una relazione di tipo lineare tra le variabili considerate. ii. Stimare i parametri della retta di regressione e valutarne la bontà di adattamento. iii. Determinare il livello medio di nitrogeno corrispondente al 35% di utilizzo del territorio adiacente le rive. 13 / 35

14 Nitrogeno Percentuale Il grafico sembra mostrare che al crescere della percentuale di utilizzo di territorio il livello medio di nitrogeno presente nei fiumi cresce. Sembra inoltre evincersi una dipendenza di tipo lineare tra il livello medio di nitrogeno e la percentuale di utilizzo del territorio. 14 / 35

15 Sulla base della seguente tabella si ricava M X = M Y = n x i n n y i = n X X 2 Y Y 2 X Y ,10 1,21 28, ,01 1,02 29, ,90 3,61 102, ,00 1,00 2, ,99 0,98 2, ,42 2,02 26, ,30 1,69 20, ,65 2,72 66, ,01 1,02 28, ,21 1,46 31, ,59 16,73 338,98 = 243 n 10 = 24, 3 σ2 X = x2 i n 12, σ XY = M XY M X M Y = n = 1, 259 σy 2 = y i 2 MY 2 n 338, 98 24, 3 1, 259 = 3, M 2 X = , 32 = 221, 81 = 16, , = 0, / 35

16 Utilizzando le formule (7) e (8) si ottengono le stime dei parametri α e β, ovvero ˆβ = σ XY σ 2 x = 3, 30 = 0, , 81 ˆα = M Y ˆβM X = 1, 259 0, , 3 = 0, 89 da cui si ricava che la retta di regressione stimata con il metodo dei minimi quadrati ha equazione ŷ = 0, , 015 x Attraverso l interpretazione statistica dei parametri α e β si ricava che il livello medio stimato di nitrogeno presente nei fiumi, quando la percentuale di utilizzo del territorio è nulla, è pari a 0,89; inoltre al crescere di 1 nella percentuale di utilizzo del territorio il livello medio stimato di nitrogeno presente nei fiumi cresce di 0,015. Utilizzando l equazione stimata delle retta di regressione si ricava che il livello medio stimato di nitrogeno presente nei fiumi, corrispondente al 35% di utilizzo del territorio, è ottenuto mediante la seguente espressione ŷ = 0, , = 1, / 35

17 Il coefficiente di determinazione Sebbene le equazioni (7) e (8) consentano di stimare la retta di regressione, esse non ci forniscono alcuna informazione circa la bontà del modello stimato. Occorre quindi definire un indice capace di riassumere l adattamento globale a la capacità esplicativa complessiva del modello in rapporto ai dati osservati. L indice utilizzato per valutare la bontà del modello di regressione stimato, prende il nome di coefficiente di determinazione, denotato con R 2, e trova fondamento teorico sul teorema di scomposizione della devianza totale, il quale afferma che la devianza totale (DEV T ) è uguale alla somma della devianza di regressione (DEV R ) più la devianza dell errore (DEV E ). Formalmente: DEV T = DEV R + DEV E (10) dove DEV T = (y i M Y ) 2, DEV R = (ŷ i M Y ) 2, DEV E = (y i ŷ i ) 2. Terminologia In generale si definisce devianza il numeratore della varianza 17 / 35

18 La dimostrazione dell equazione (10) si fonda sulla seguente uguaglianza: DEV T = = = (y i M Y ) 2 = (y i ŷ i + ŷ i M Y ) 2 = [(y i ŷ i ) 2 + (ŷ i M Y ) 2 + 2(y i ŷ i )(ŷ i M Y )] = (y i ŷ i ) 2 + (ŷ i M Y ) 2 +2 (y i ŷ i )(ŷ i M Y ) } {{ } } {{ } =DEV E DEV R = DEV E + DEV R + 2 (y i ŷ i )(ŷ i M Y ). Dall ultima uguaglianza si ricava che la scomposizione (10) è dimostrata se (y i ŷ i )(ŷ i M Y ) = 0. [(y i ŷ i ) + (ŷ i M Y )] 2 = 18 / 35

19 Per dimostrare che (y i ŷ i )(ŷ i M Y ) = 0. osserviamo che il sistema di equazioni normali (y i ˆα ˆβx i ) = 0 (y i ˆα ˆβx i )x i = 0 può essere riscritto come (y i ŷ i ) = 0 (y i ŷ i )x i = 0 dove ŷ i = ˆα + ˆβx i. (11) 19 / 35

20 Utilizzando la formula dello stimatore del parametro α, ovvero ˆα = M Y ˆβM X, si ricava che Utilizzando l uguaglianza (12) si ricava che (y i ŷ i )(ŷ i M Y ) = ŷ i = ˆα + ˆβx i ŷ i = M Y ˆβM X + ˆβx i ŷ i M Y = ˆβ(x i M X ). (12) (y i ŷ i ) ˆβ(x i M X ) Utilizzando le due equazioni del sistema (11) si ottiene che quindi ( ) = β (y i ŷ i )x i M X (y i ŷ i ) (y i ŷ i )(ŷ i M Y ) = ˆβ(0 M X 0) = 0 DEV T = DEV E + DEV R + 2 (y i ŷ i )(ŷ i M Y ) = DEV E + DEV R. Quindi il teorema della scomposizione della devianza totale è dimostrato. 20 / 35

21 21 / 35

22 22 / 35

23 23 / 35

24 Se la variabilità della variabile di risposta, misurata tramite DEV T, è per la gran parte spiegata dalla retta di regressione, la devianze di regressione DEV R sarà elevata in rapporto a DEV T e, conseguentemente, la devianza residua sarà bassa. Viceversa, se la retta di regressione spiega in misura modesta la variabilità di Y, DEV R sarà piccola in rapporto alla devianza totale, DEV T e, necessariamente, DEV E sarà elevata. Sulla base di quanto detto, ne consegue che una misura diretta della bontà della retta di regressione nello spiegare la variabilità di Y tramite X è data dal rapporto R 2 = DEV R DEV T che prende il nome di coefficiente di determinazione. 24 / 35

25 Attraverso l utilizzo della decomposizione della devianza totale DEV T = DEV E + DEV R è possibile definire il coefficiente di determinazione in termini di devianza residua. Dividendo ambo i membri dell uguaglianza precedente per DEV T si ricava DEV T DEV T = DEV E DEV T + DEV R DEV T 1 = DEV E DEV T + R 2 quindi il coefficiente di determinazione può essere equivalentemente definito nel seguente modo R 2 = 1 DEV E DEV T 25 / 35

26 Poiché il coefficiente di determinazione è definito come rapporto tra una delle componenti della devianza totale di Y e DEV T si ricava che in particolare: 0 R 2 1 i. dalla definizione R 2 = DEV R si ricava che R DEV 2 = 0 quando la devianza di regressione è nulla. T In questo caso la retta di regressione stimata è parallela all asse delle ascisse e quindi il modello non ha alcuna capacità interpretativa per la variabile di risposta; i. dalla definizione R 2 = 1 DEV E si ricava che R DEV 2 = 1 quando la devianza dell errore è nulla. T In questo caso tutti i valori osservati della variabile di risposta, ovvero gli y i, giaciono sulla retta di regressione stimata. 26 / 35

27 R 2 = 1 β^ > 0 R 2 = 1 β^ < 0 Y Y X X 27 / 35

28 R 2 = 0 β^ = 0 R 2 1 β^ > 0 Y Y X X 28 / 35

29 Da un punto di vista applicativo, il calcolo del coefficiente di determinazione si fonda sulla relazione che esiste tra R 2 e il coefficiente di correlazione lineare di Bravais-Pearson. Ricordando che ŷ i M Y = ˆβ(x i M X ) e che ˆβ = σ XY /σx 2, si ricava R 2 = DEV R DEV T = = ˆβ 2 σ2 X σ 2 Y n (ŷ i M Y ) 2 n (y i M Y ) 2 = ˆβ 2 n (x i M X ) 2 n (y i M Y ) 2 = ˆβ 2 n (x i M X ) 2 /n n (y i M Y ) 2 /n = σ2 XY σ 4 X σ 2 X σ 2 Y = σ2 XY σ 2 x σ 2 Y ( ) 2 σxy = = ρ 2. σ X σ Y L ultima uguaglianza ci mostra che, da un punto di vista applicativo, è più semplice calcolare il coefficiente di determinazione come quadrato del coefficiente di correlazione lineare di Bravais- Pearson. Osservazione L identità R 2 = ρ 2 non è la definizione di coefficiente di determinazione. 29 / 35

30 Un dirigente aziendale è interessato allo studio della relazione esistente tra il prezzo di vendita di dieci prodotti, indicato con P, e il corrispondente costo di produzione, indicato con C. In tabella vengono riportati i dati utilizzati per l analisi. C 50,45 72,80 63,45 69,45 71,10 65,25 74,85 96,95 99,95 65,45 P i. Sulla base della descrizione dello studio, si identifichi la variabile esplicativa (X ) e la variabile di risposta (Y). ii. Si valuti, mediante rappresentazione grafica, l ipotesi di una relazione lineare tra le variabili in esame. iii. Si stimino i parametri della retta di regressione e si valuti l adattamento mediante un adeguato indice. 30 / 35

31 Sulla base della descrizione dello studio si deduce che si è interessati allo studio della dipendenza del prezzo di vendita dal costo di produzione; in altri termini la variabile esplicativa (X ) è il costo di produzione e la variabile di risposta (Y) è il prezzo di vendita. Prezzo di Vendita Costi di produzione Il grafico sembra suggerire l esistenza di una relazione lineare tra il livello medio del prezzo di vendita e i costi di produzione. 31 / 35

32 Sulla base della seguente tabella si ricava X X 2 Y Y 2 X Y 50, , ,25 72, , ,20 63, , ,75 69, , ,25 71, , ,50 65, , ,25 74, , ,75 96, , ,75 99, , ,75 65, , ,25 729, , ,70 32 / 35

33 n M X = x i 729, 70 = = 72, 97 n 10 n σx 2 = x2 i M , 53 X = 72, 97 2 = 203, 63 n 10 n M Y = x i = 1554 n 10 = 155, 4 n σy 2 = x2 i MY 2 n = , 4 2 = 981, , 70 σ XY = M XY M X M y = 72, , 4 = 420, Utilizzando le formule fornite dal sistema di equazioni normali si ricava ˆβ = σ XY σ 2 x = 420, 33 = 2, , 63 ˆα = M y ˆβM X = 155, 4 2, 06 72, 97 = 5, 08 da cui discende che la retta di regressione stimata con il metodo dei minimi quadrati ha equazione ŷ = 5, , 06 x 33 / 35

34 La bontà di adattamento del modello di regressione stimato può essere valutata mediante il coefficiente di determinazione R 2. Utilizzando la relazione che lega R 2 con il coefficiente di correlazione lineare di Bravais-Pearson si ricava: R 2 = ρ 2 = σ2 XY 420, 33 2 σx 2 = σ2 Y 203, , 44 = 0.88, ovvero la retta di regressione stimata spiega circa l 88% della variabilità totale della variabile di risposta. Dato che il coefficiente di determinazione assume valori compresi tra 0 e 1, il risultato precedente sembra mostrare che la retta di regressione stimata è caratterizzata da un soddisfacente adattamento ai dati. 34 / 35

35 Prezzo di Vendita Costi di produzione Il grafico mostra che il modello stimato è caratterizzato da un soddisfacente adattamento ai dati. 35 / 35