STATISTICA A D (72 ore)

Transcript

1 STATISTICA A D (72 ore) Marco Riani mriani@unipr.it Richiami sulla regressione Marco Riani, Univ. di Parma 1

2 MODELLO DI REGRESSIONE y i = a + bx i + e i dove: i = 1,, n a + bx i rappresenta una retta: a = ordinata all origine intercetta b = coeff. angolare coeff. di regressione e i è un termine di errore (accidentale) RETTA DI REGRESSIONE i = 1,, n = valore teorico (valore stimato) di y i funzione lineare di i = 1,, n Residui Marco Riani, Univ. di Parma 2

3 Come si calcolano i parametri a e b? METODO DEI MINIMI QUADRATI Le incognite sono i parametri della retta Visualizzazione grafica dei residui Marco Riani, Univ. di Parma 3

4 Sistema di equazioni normali Formule per il calcolo di a e b a e b sono funzioni lineari delle osservazioni y i Marco Riani, Univ. di Parma 4

5 ESEMPIO (7 supermercati) N. dipendenti (X) Fatturato in milioni di (Y) A 10 1,9 B 18 3,1 C 20 3,2 D 8 1,5 E 30 6,2 F 12 2,8 G 14 2,3 Scatter con retta di regressione Come variano le vendite in funzione del numero di dipendenti? Marco Riani, Univ. di Parma 5

6 Calcolo di a e b x i y i x 2 i y 2 i x i y i A 10 1, ,61 19 B 18 3, ,61 55,8 C 20 3, ,24 64 D 8 1,5 E 30 6,2 F 12 2,8 G 14 2,3 Tot ,28 402,6 Calcolo di a e b x i y i x 2 i y 2 i x i y i A 10 1, ,61 19 B 18 3, ,61 55,8 C 20 3, ,24 64 D 8 1,5 E 30 6,2 F 12 2,8 G 14 2,3 Tot ,28 402,6 Marco Riani, Univ. di Parma 6

7 BONTA DI ADATTAMENTO Retta di regressione: DEVIANZA TOTALE DEVIANZA DI REGRESSIONE DEVIANZA RESIDUA Indice di determinazione lineare (R 2 ) δ =1 δ =0 se se Marco Riani, Univ. di Parma 7

8 Grafico dei residui Modello soddisfacente: distribuzione casuale dei residui componente erratica ESTRAPOLAZIONE Si tenta di valutare in maniera attendibile il valore che assumerà la variabile dipendente in corrispondenza di un valore noto della variabile esplicativa. CONDIZIONI Validità della retta di regressione (δ prossimo ad 1) valore noto della variabile esplicativa non lontano dai valori utilizzati nel calcolo della retta Marco Riani, Univ. di Parma 8

9 Regressione inferenziale Introduzione agli elementi aleatori Introduzione agli elementi aleatori N. dipendent i (X) Vendite in milioni di (Y) A 10 1,9 B 18 3,1 C 20 3,2 D 8 1,5 E 30 6,2 F 12 2,8 G 14 2,3 Prezzi in Euro (x) Vendite (Y) A B C D E F G H Marco Riani, Univ. di Parma 9

10 Introduzione agli elementi aleatori Le vendite sono dovute in parte ai prezzi e in parte a fattori di natura aleatoria e perciò sono esse stesse delle v.c. Al contrario i dipendenti e/o i prezzi non sono v.c. poiché sono del tutto prevedibili dalla compagnia che li stabilisce Introduzione agli elementi aleatori Una successione di valori fissi x 1, x 2, x n a cui sono associate n v.c. indipendenti Y 1, Y 2, Y n Il punto cruciale consiste nel descrivere in modo appropriato tali v.c. E(Y i )? var(y i )? Distribuzione di Y i? Marco Riani, Univ. di Parma 10

11 Assunzioni su Y i Tutte le osservazioni sono caratterizzate dallo stesso grado di incertezza var(y i ) = σ 2 i=1, 2,, n σ 2 è un parametro incognito da stimare cov(y i, Y j )=0 i j Assunzioni su Y i E(Y i ) = µ i i=1, 2,, n i valori osservati della variabili dipendente provengono da n distribuzioni di probabilità con medie incognite Ip. le medie delle distribuzioni variano linearmente con la variabili indipendente µ i = E(Y i ) = α+β x i Marco Riani, Univ. di Parma 11

12 Assunzioni su Y i (continua) Ip: µ i = E(Y i ) = α+β x i Questa ipotesi equivale ad affermare che i punti (x 1, µ 1 ), (x 2, µ 2 ),, (x n, µ n ) stiano tutti su una retta con parametri α, β Oss: questa assunzione non implica che tutti i punti (x i, y i ) stiano sulla retta ma che i valori medi delle distribuzioni da cui i punti provengono verificano l equazione della retta Interpretazione di α e β I parametri α e β rappresentano l intercetta ed il coeff. angolare della retta sulla quale giacciono le medie incognite delle distribuzioni Y 1,, Y n Marco Riani, Univ. di Parma 12

13 Interpretazione di α e β E(Y 3 )=α+βx 3 E(Y 2 )=α+βx 2 E(Y 1 )=α+βx 1 Osservazione sulla notazione In queste slide utilizziamo la notazione α per indicare l intercetta nella popolazione β per indicare la pendenza nella popolazione per indicare lo stimatore e la stima di α per indicare lo stimatore e la stima di β Marco Riani, Univ. di Parma 13

14 Notazione utilizzata nel testo Nel testo si usa la notazione β 0 per indicare l intercetta nella popolazione B 0 per indicare lo stimatore dell intercetta e b 0 per indicare la stima dell intercetta Nel testo si usa la notazione β 1 per indicare la pendenza nella popolazione B 1 per indicare lo stimatore della pendenza e b 1 per indicare la stima della pendenza Osservazione Dato il modello di regressione Y i = α +β x i +ε i L ip: µ i = E(Y i ) = α+β x i equivale ad affermare che E(ε i )=0 Marco Riani, Univ. di Parma 14

15 Stima dei parametri I parametri da stimare sono α, β, µ 1, µ 2,, µ n,σ 2 La conoscenza diα, β consente di ricostruire tutte le medie incognite µ 1, µ 2,, µ n µ i = E(Y i ) = α+β x i Riepilogo ipotesi Y i = α +β x i +ε i µ i = E(Y i ) = α+β x i var(y i ) = σ 2 cov(y i, Y j )=0 var(ε i )=? var(ε i )= σ 2 (Dato che var(y+k)=var(y) con k costante) cov(ε i, ε j )=? cov(ε i, ε j )=0 (Dato che cov(y i +k, Y j +c)= cov(y i, Y j ) con k e c costanti) Marco Riani, Univ. di Parma 15

16 Stime di α e β Pensando di ripetere più volte l esperimento che ha generato le osservazioni y 1,, y n, per valori fissi di x 1,, x n si ottiene una distribuzione campionaria di valori Coeff. di regressione campionari e nella popolazione Marco Riani, Univ. di Parma 16

17 Coeff. di regressione campionari e nella popolazione Stima di σ 2 var(y i )=var(ε i )=σ 2 = dispersione verticale attorno alla retta che unisce i valori medi delle popolazioni Dato che σ 2 =E(ε i2 )-[E(ε i )] 2 = E(ε i2 ) Dato che e i è una stima di ε i sembra naturale utilizzare come stimatore di σ 2 la seguente espressione Marco Riani, Univ. di Parma 17

18 Stima di σ s= errore standard nella stima di Y Ip. aggiuntiva Le distribuzioni Y i sono normali y 1 è una realizzazione di Y 1 ~ N(µ 1, σ 2 ) y 2 è una realizzazione di Y 2 ~ N(µ 2, σ 2 ) y n è una realizzazione di Y n ~ N(µ n, σ 2 ) Y 1, Y 2,, Y n sono indipendenti Marco Riani, Univ. di Parma 18

19 Obiettivo Costruire intervalli di confidenza e test di verifica d ipotesi sul coeff. angolare Studio della distribuzione di Marco Riani, Univ. di Parma 19

20 Studio della distribuzione di Varianza di beta cappello Marco Riani, Univ. di Parma 20

21 Varianza di beta cappello Al posto di σ 2 sostituiamo il suo stimatore La radice quadrata della stima della varianza di uno stimatore è l errore standard (standard error, SE) dello stimatore Marco Riani, Univ. di Parma 21

22 Interpretazione dello standard error di beta cappello Rappresenta l errore quadratico medio che si commette quando si stima il coefficiente di regressione con le formule dei minimi quadrati Studio della distribuzione di Marco Riani, Univ. di Parma 22

23 Esercizio: nell esempio dei 7 supermercati calcolare lo standard error di beta cappello e alpha cappello Sol. Costruzione di intervalli di confidenza dei parametri Marco Riani, Univ. di Parma 23

24 Punto di partenza beta cappello è funzione lineare di v.c. Normali e quindi è distribuito in maniera normale Lo scostamento standardizzato di beta capello ha una distribuzione N(0,1) Se il livello di confidenza 1-α=0.95 Marco Riani, Univ. di Parma 24

25 Problema: σ 2 è ignoto (occorre sostituire il suo stimatore s 2 ) Sostituendo al posto di σ 2 il suo stimatore Marco Riani, Univ. di Parma 25

26 Costruzione di un intervallo di confidenza per il coeff. angolare Dove t(α/2) è valore critico associato alla distribuzione T di student con n-2 gradi di libertà (T(n-2)) tale che F(-t(α/2))= P(T<-t(α/2))=α/2 Costruzione di intervalli di confidenza dei parametri Marco Riani, Univ. di Parma 26

27 Esercizio: nell esempio dei 7 supermercati costruire un intervallo di confidenza al 95% per β ed interpretare i risultati ottenuti ESEMPIO (7 supermercati) N. dipendenti (X) Fatturato in milioni di (Y) A 10 1,9 B 18 3,1 C 20 3,2 D 8 1,5 E 30 6,2 F 12 2,8 G 14 2,3 Marco Riani, Univ. di Parma 27

28 Costruzione di un intervallo di confidenza al 95% per il coeff. angolare t(0.025)= (=INV.T(0.05;5) (Oss: Pr.(T>2.5706)=0.025) Costruzione di un intervallo di confidenza al 95% per il coeff. angolare Pr( <β< )=0.95 Pr(0.133<β< 0.263)=0.95 Marco Riani, Univ. di Parma 28

29 Interpretazione L'intervallo di confidenza del coefficiente di regressione, con probabilità uguale a 0.95, va da 0,133 a 0,263. Questo significa che nell'universo di riferimento, all'aumento di un dipendente può corrispondere un aumento delle vendite compreso tra 133 mila Euro e 263 mila Euro circa (con probabilità del 95%). Oss: l'intervallo è piuttosto ampio e questo dipende dalla ridotta numerosità campionaria (solo 7 supermercati). Intervallo di confidenza per l intercetta Marco Riani, Univ. di Parma 29

30 Costruzione di un intervallo di confidenza al 95% per l intercetta t(0.05)= (=INV.T(0.05;5) (Oss: Pr.(T>2.5706)=0.025) Pr(-1.31<α< 0.96)=0.95 Costruzione di test di ipotesi per α e β Marco Riani, Univ. di Parma 30

31 Dato che Sotto H 0 : β =0 Esercizio: nell esempio dei 7 supermercati testare H 0 :β=0 (H 1 :β 0), trovare il relativo p- value ed interpretare il risultato del test t β =0.1982/ =7.82 p-value <0.001 (dalle tavole) DISTRIB.T(7.82;5;2)= Interpretazione : rifiuto decisamente l ipotesi nulla Marco Riani, Univ. di Parma 31

32 Esercizio: nell esempio dei 7 supermercati testare H 0 :α=0, (H 1 :α 0), trovare il relativo p- value ed interpretare il risultato del test t α =0.39 p-value = >0.1 (dalle tavole) DISTRIB.T(0.39;5;2)=0.714 Interpretazione : non posso rifiutare l ipotesi nulla Approccio inferenziale al δ (coefficiente di determinazione lineare) H 0 :δ=0 (non vi è alcuna relazione tra X e Y) La statistica test da utilizzare è la seguente: Nel modello di regressione lineare semplice Marco Riani, Univ. di Parma 32

33 Le quantità necessarie per il calcolo della statistica F sono riportate nella Tabella di analisi della varianza v. p. 142 Tutti i precedenti calcoli sono stati implementati in Excel Pagina Indirizzo del file da scaricare Marco Riani, Univ. di Parma 33

34 Esercizi di calcolo delle probabilità Esercizio Si consideri un dado a 20 facce tutte uguali Qual è il valore atteso? Quante volte è necessario lanciarlo affinché la probabilità di ottenere almeno un 20 sia maggiore o uguale a 0.5? Lanciandolo 20 volte, qual è il numero medio di 20 ottenuti? Pr di ottenere almeno una volta la faccia 20 in 20 lanci? Marco Riani, Univ. di Parma 34

35 Soluzione Valori assunti da X i= 1, 2,, 20 P(X=i)=1/20 E(X)? Quante volte è necessario lanciarlo affinché la probabilità di ottenere almeno un 20 sia maggiore o uguale a 0.5? Pr(almeno un 20 in n lanci) = 1-Pr(nessun 20 in n lanci)= 1-(19/20) n = n Vincolo 1-(19/20) n >0.5 n >ln(0.5)/ln(19/20)=log = Marco Riani, Univ. di Parma 35

36 Lanciandolo 20 volte, qual e il numero medio di 20 ottenuti? Y i v.c. associata all ottenimento del numero 20 Y i ~ Bernoulliana π= 1/20 S 20 = Y Y 20 ~ B(20, 1/20) E(S 20 ) = 20 π = 20 (1/20) =1 Pr di ottenere almeno una volta la faccia 20 in 20 lanci? Pr(almeno un 20 in 20 lanci) = 1-Pr(nessun 20 in 20 lanci)= 1-(1-1/20) 20 = Marco Riani, Univ. di Parma 36

37 Esercizio Nel gioco del lotto un numero ha una probabilità p di uscire ad ogni estrazione. Si scriva la densità della v.c. che descrive il tempo di attesa dell uscita del numero all estrazione k-esima (v. casuale geometrica), k=1, 2, 3,. Si dimostri che la somma delle probabilità è 1 Si calcoli il valore atteso Si calcoli l espressione che definisce P(X>k) Soluzione Dato che le estrazioni sono indipendenti la prob. che il numero esca alla k-esima estrazione è P(X=k) =? k=1, 2,., P(X=k) = (1-p) k-1 p k=1, 2,., P(X=k) = q k-1 p k=1, 2,., Marco Riani, Univ. di Parma 37

38 Si dimostri che la somma delle probabilità è 1 Valore atteso q=1-p P(X=k) = q k-1 p k=1, 2, Marco Riani, Univ. di Parma 38

39 Varianza= E(X 2 )-[E(X)] 2 Cominciamo a calcolare E(X(X-1)) q=1-p P(X=k) = q k-1 p k=1, 2, Calcolare P(X>k) P(X=k) = q k-1 p k=1, 2, 3, P(X>k) si può scrivere come Marco Riani, Univ. di Parma 39

40 Esercizio Dimostrare che nel gioco del lotto la probabilità che siano necessari i+j tentativi prima di ottenere il primo successo, dato che ci sono già stati i insuccessi consecutivi, è uguale alla probabilità non condizionata che almeno j tentativi siano necessari prima del primo successo. Morale: il fatto di avere già osservato i insuccessi consecutivi non cambia la distribuzione del numero di tentativi necessari per ottenere il primo successo Soluzione X = numero di tentativi prima di ottenere il primo successo. p = prob di successo Dobbiamo dimostrare che P(X>i+j X>j) = P(X>i) P(X>i+j X>j) = P(X>i+j X>j) / P(X>j) = P(X>i+j) / P(X>j) = q i+j /q j =q i =P(X>i) Marco Riani, Univ. di Parma 40

41 Esercizio Un gioco a premi ha un montepremi di 512 Euro. Vengono poste ad un concorrente 10 domande. Ad ogni risposta errata il montepremi viene dimezzato. Alla prima risposta esatta il concorrente vince il montepremi rimasto. Se non si fornisce alcuna risposta esatta non si vince nulla. Un certo concorrente risponde esattamente ad una domanda con probabilità p, indipendentemente dalle risposte alle altre domande. Richieste Sia X la vincita di questo concorrente. Scrivere la legge di X in forma compatta e determinare la sua densità p(x) Verificare che la somma delle probabilità sia 1 Calcolare il valore atteso della vincita Marco Riani, Univ. di Parma 41

42 Soluzione Tempo in cui avviene la vincita (t) Ammontare vinto X(t) P vincere p /2 (1-p) p /2 2 (1-p) 2 p /2 9 (1-p) 9 p 1 >10 0 (1-p) 10 0 Ammontare vinto X(t) v.c. X(t) = montepremi vinto? P(t)? Verificare che la somma delle probabilità sia 1 (oss. q=1-p) La somma delle probabilità è data da Marco Riani, Univ. di Parma 42

43 Valore atteso della vincita E(X(t)) Marco Riani, Univ. di Parma 43