Università di Pavia Econometria. Richiami di Statistica. Eduardo Rossi

Transcript

1 Università di Pavia Econometria Richiami di Statistica Eduardo Rossi Università di Pavia

2 Campione casuale Siano (Y 1, Y 2,..., Y N ) variabili casuali tali che le y i siano realizzazioni mutuamente indipendenti della variabile casuale Y con f.d.c., F Y (y). Allora (Y 1, Y 2,..., Y N ) è detto un campione casuale dalla popolazione con f.d.c. F Y (y). 1

3 Inferenza statistica L inferenza statistica è l applicazione di modelli di probabilità all analisi dei dati e alla sua interpretazione. L inferenza classica stabilisce un modello di probabilistico per le informazioni campionarie, deriva modelli probabilistici per funzioni dei dati (statistiche) ed inferisce caratteristiche ignote (parametri) del modello probabilistico di partenza dai dati campionari. Sia (Y 1, Y 2,..., Y N ) un campione casuale da una densità f( ; θ), dove la forma della desnità è nota ma il parametro θ è ignoto (scalare reale o vettore di numeri reale). L obiettivo è trovare statistiche, funzioni delle osservazioni (Y 1, Y 2,..., Y N ), da usare per la stima di θ. 2

4 Stimatore Statistica: E una funzione di v.c. osservabili, essa stessa è una v.c. osservabile, che non contiene alcun parametro ignoto. Stimatore: Ogni statistica i cui valori sono usati per stimare τ(θ), dove τ(θ) è una funzione di θ, è uno stimatore di τ(θ). Stima: Un particolare valore realizzato dello stimatore. 3

5 Stimatore non distorto Stimatore non distorto: Sia θ una funzione reale della f.d.c. e sia (Y 1, Y 2,..., Y N ) un campione casuale estratto dalla popolazione con f.d.c. F Y. La v.c. Z = h(y 1, Y 2,..., Y N ) è uno stimatore non distorto di θ se E[Z] = θ Consideriamo un campione casuale (Y 1, Y 2,..., Y N ) dalla popolazione con f.d.c. F Y, il momento primo campionario µ = 1 N N Y i i=1 è uno stimatore di µ = E[Y ] nel senso che E[ µ] = µ. 4

6 Stimatore non distorto E[ µ] = 1 N E N Y i i=1 = 1 N N i=1 E[Y i ] = µ V ar( µ) = σ2 N La distribuzione della media Y 10 basata su un campione casuale di dimensione 10 ha la stessa media di Y 20 basata su un campione di 20. Nel secondo caso la dispersione delle stime intorno a µ è la metà del primo. 5

7 Efficienza Si può scegliere tra stimatori non distorti sulla base del confronto delle loro varianze. Stimatore efficiente: Se Z A e Z B sono due stimatori non distorti di θ e V ar[z A ] < V ar[z B ] allora Z A è effciente relativamente a Z B Per valutare la precisione di uno stimatore dobbiamo stimare la sua varianza. Quando le varianze sono piccole sappiamo, dalla diseguaglianza di Chebychev, che la v.c. assume valori vicini alla sua media: Pr{ Y µ ǫσ} 1 1 ǫ 2 6

8 Errore quadratico medio EQM[ θ] = E[( θ θ) 2 ] = E[( θ E( θ) + E( θ) θ) 2 ] EQM[ θ] = E[( θ E( θ)) 2 ] + [E( θ) θ] 2 EQM[ θ] = V ar( θ) + [E( θ) θ] 2 perchè E[( θ E( θ))(e( θ) θ)] = 0. Se la distorsione è nulla, allora E( θ) θ EQM[ θ] = V ar( θ) 7

9 Esempio Consideriamo un campione casuale (Y 1, Y 2,..., Y N ) dalla popolazione con c.d.f. F Y, il momento primo campionario Y = 1 N N Y i i=1 è uno stimatore non distorto. Se la varianza di Y, σ 2, esiste lo stimatore non distorto è: s 2 = Ni=1 (Y i Y ) 2 N 1 = N N 1 1 N N i=1 (Y i Y ) 2 = N N 1 σ 2 8

10 Esempio infatti E[s 2 ] = con E(Y 2 i ) = σ2 + µ 2. E[s 2 ] = N N 1 N N 1 E = N N 1 E = N N 1 1 N 1 N 1 N N i=1 N i=1 N i=1 1 N N(σ2 + µ 2 ) E (Y i Y ) 2 (Y 2 ) (Y )2 i E(Yi 2 ) E(Y 2 ) 1 N 2 N Y i i=1 9

11 Esempio E[s 2 ] = N N 1 = N N 1 = N N 1 = N N 1 = N N 1 (σ2 + µ 2 ) 1 N 2E (σ2 + µ 2 ) 1 N 2E { { (σ 2 + µ 2 ) 1 N 2 2 N Y i i=1 Y i Y j i j ( N(σ 2 + µ 2 ) + (N 2 N)µ 2 )} (σ 2 + µ 2 ) 1 ( Nσ 2 + N 2 µ 2 )} N (σ 2 2 1N ) σ2 = σ 2 10

12 Esempio dove V ar[s 2 ] = µ4 N (N 3)4 N(N 1) µ 4 E(Y t µ) 4 < 11

13 Metodi di stima 12

14 Stima a intervalli Una stima puntuale non fornisce alcuna informazione sull intervallo dell errore associato alla stima. L idea della stima ad intervalli è usare i dati campionari per costruire un intervallo, tale che possiamo aspettarci che questo contenga il valore vero del parametro in una certa proporzione di campioni, o con un certo livello di confidenza. Più è ampio l intervallo maggiore è la probabilità che contenga il parametro. 13

15 Stima a intervalli Intervallo di confidenza: Sia (Y 1, Y 2,..., Y N ) un campione casuale dalla densità f( ; θ). Siano T 1 = t 1 (Y 1,..., Y N ) e T 2 = t 2 (Y 1,..., Y N ) due statistiche che soddisfano T 1 T 2 per i quali Pr{T 1 < τ(θ) < T 2 } 1 α L intervallo (T 1, T 2 ) è detto un intervallo di confidenza di livello (1 α)100% per τ(θ); (1 α) è il livello di confidenza. 14

16 Stima a intervalli Quantità pivotale: Sia (Y 1, Y 2,..., Y N ) un campione casuale dalla densità f( ; θ), dove θ è un vettore di parametri incogniti. La funzione Q = Q( ; θ) è una quantità pivotale se e solo la distribuzione non dipende da θ. 15

17 Stima a intervalli Il metodo della quantità pivotale: Se Q = Q(Y 1, Y 2,..., Y N ; θ) è una quantità pivotale ed ha una f.d.p., allora per ogni 0 < (1 α) < 1 esistono q 1 e q 2 che dipendono da (1 α) tali che Pr{q 1 < Q < q 2 } = 1 α Se per ogni possibile valore del campione (y 1, y 2,..., y N ) se e solo se q 1 < Q(y 1,..., y N ; θ) < q 2 t 1 (y 1,..., y N ) < τ(θ) < t 2 (y 1,..., y N ) per funzioni t 1 e t 2 (che non dipendono da θ), allora (T 1, T 2 ) è un intervallo di confidenza per τ(θ), dove T i = t i (y 1,..., y n ) i = 1,2. 16

18 Stima a intervalli L essenziale caratteristica del metodo pivotale è che la diseguaglianza {q 1 < Q(y 1,..., y N ; θ) < q 2 } possa essere riscritta o invertita come {t 1 (y 1, y 2,..., y N ) < τ(θ) < t 2 (y 1, y 2,..., y N )} per ogni possibile realizzazione del campione y 1, y 2,..., y N. Due passaggi 1. trovare una quantità pivotale 2. invertirla 17

19 Esempio. Intervallo di confidenza per la media Sia (Y 1,..., Y N ) un campione casuale V ar 1 N Y µ σ 2 /N Y i i Y i N(µ, σ 2 ) Y N ( µ, σ2 N N(0,1) = E[(Y µ) 2 ] = E [ Y 2] µ 2 ) 18

20 Esempio [ ( 1 E [ Y 2] = E N = 1 N 2E = 1 N 2E Yi ) 2 ] [ ( Yi ) 2 ] Y 2 i + i j i j Y i Y j 19

21 Esempio = 1 N 2 = 1 N 2 = σ2 N + µ2 E [ Y 2 i ] + E i j i j Y i Y j { N(σ 2 + µ 2 ) + N(N 1)µ 2} 20

22 Esempio V ar 1 N Y i = σ2 i N s 2 σ 2 χ2 N 1 N 1 Y µ σ 2 /N e s2 σ 2 sono indipendenti. La quantità pivotale Y µ σ 2 /µ / s 2 σ 2 = Y µ s/ N t N 1 21

23 Esempio Pr { Y µ s/ N t N 1;α/2 } = 1 α quantile t N 1;α : Pr{t N 1 t N 1;α } = 1 α. Possiamo scrivere Pr { Y t N 1;α/2 s N µ Y t N 1;α/2 s N } = 1 α questo intervallo conterrà µ con probabilità 1 α. I limiti di questi intervalli sono v.c. perchè Y e s 2 sono v.c. in campioni ripetuti. L intervallo è centrato su uno stimatore non distorto Y. 22

24 Esempio Un analogo intervallo per σ 2 è Pr σ2 s 2χ2 N 1;α/2 N 1, N 1;1 α/2 s2χ2 N 1 = 1 α χ 2 N 1;α è il quantile 1 α della distribuzione χ2 N 1. Poichè la distribuzione chi-quadrato è asimmetrica, questo intervallo di confidenza non è centrato sullo stimatore non-distorto s 2. 23

25 Verifica delle ipotesi Ipotesi statistica: E un asserzione o congettura sulla distribuzione di una o più variabili casuali. Se l ipotesi statistica specifica completamente la distribuzione, allora è detta semplice; altrimenti è composta. Test: E una regola o procedura per decidere se rifiutare l ipotesi. Due ipotesi sono discusse: Ipotesi nulla: H 0 Ipotesi alternativa: H 1. Se l ipotesi nulla è falsa, allora l ipotesi alternativa è vera e viceversa. Se l ipotesi nulla non è rifiutata allora H 0 è accettata. 24

26 Verifica delle ipotesi Test: τ(y ) Spazio dei possibili campioni: Y Regione critica: C τ Regione di accettazione: C C τ Un test di H 0 scompone Y in due regioni C τ e C τ. Se (y 1, y 2,..., y N ) C τ, H 0 è rifiutata. 25

27 Verifica delle ipotesi Due tipi di errori: 1. Errore di I tipo: Rifiutare H 0 quando è vera. 2. Errore di II tipo: Accettare H 0 quando è falsa. 26

28 Verifica delle ipotesi La dimensione dell errore di I tipo è Pr{ Rifiutare H 0 H 0 Vera}. La dimensione dell errore di II tipo è Pr{ Accettare H 0 H 0 Falsa}. Ipotesi nulla semplice ed ipotesi alternativa semplice { H0 : θ = θ 0 H 1 : θ = θ 1 Ipotesi Nulla semplice ed ipotesi alternativa bilaterale { H0 : θ = θ 0 H 1 : θ θ 0 Ipotesi Nulla semplice ed ipotesi alternativa unilaterale { H0 : θ = θ 0 H 1 : θ > θ 0 27

29 Verifica delle ipotesi Nel caso in cui l ipotesi nulla non sia semplice ma composta { H0 : θ θ 0 H 1 : θ > θ 0 si può ricondurre a un sistema con ipotesi nulla semplice: H 0 : θ = θ 0. Il rifiuto dell ipotesi H 0 : θ = θ 0 implica il rifiuto dell ipotesi H 0 : θ θ 0. 28

30 Verifica delle ipotesi Funzione di potenza: Se la distribuzione dalla quale è stato ottenuto il campione è parametrizzata da θ (il valore vero del parametro), dove θ Θ, allora associato ad ogni test esiste una funzione di potenza: π τ (θ) = Pr θ [(Y 1, Y 2,..., Y N ) C τ ] descrive la probabilità, al variare di θ, di rifiutare H 0. Una funzione di potenza ideale assegna 0, per quei valori di θ corrispondenti all ipotesi nulla e 1 per quei θ corrispondenti all ipotesi alternativa. 29

31 Esempio (Y 1,..., Y N ) sia un campione casuale da f(y; θ) = φ θ,25 (y) H 0 : θ 17 τ : Rifiutare se e solo se Y > / N ( [ ] ) / n θ π τ (θ) = Pr θ Y > / N = 1 Φ 5/ n 30

32 Approccio Neyman Pearson La dimensione del test (size): Sia τ un test dell ipotesi H 0 : θ Θ 0, Θ 0 Θ La dimensione del test è: sup θ Θ 0 τ(θ) 31

33 Approccio Neyman Pearson Per individuare il test ottimale adottiamo Test più potente: Un test τ per { H0 : θ = θ 0 H 1 : θ = θ 1 è detto test più potente se e solo se: 1. π τ (θ 0 ) = α, α livello di significatività 2. π τ (θ 1 ) π τ (θ 1 ) per ogni altro test τ per il quale π τ (θ 0 ) α. 32

34 Approccio Neyman Pearson E fissata la dimensione dell errore di I tipo (uguale ad α, livello di significatività) e minimizzata la dimensione la dimensione dell errore di II tipo. Un test è detto più potente di dimensione α se ha dimensione α e se fra tutti i test di dimensione α o inferiore ha la potenza maggiore. 1 - α Coefficiente di confidenza del test. Corrisponde alla probabilità di accettare l ipotesi nulla quando è vera. 33

35 Approccio Neyman Pearson Si fissa il livello di significatività e poi si cerca il test che minimizza la probabilità d errore del II tipo o che massimizza la potenza del test π(θ). Un test con livello di significatività pari a α e una funzione di potenza π (θ) è detto uniformemente più potente a livello α se: π (θ) π(θ) θ Θ 1 per ogni altro test con uguale livello di significatività α e funzione di potenza π(θ). 34

36 Test corretto Un test con livello di significatività α e funzione di potenza π(θ) è corretto se: π(θ) α θ Θ 1 Il test è corretto se la probabilità di rifiutare l ipotesi nulla quando questa è falsa è maggiore della probabilità di rifiutarla quando è vera. 35

37 Approccio Neyman Pearson La procedura di N-P è scegliere una C τ, cioè trovare un metodo per calcolare τ(y 1,..., Y N ) e scegliere il valore critico, tale per cui la dimensione del test non ecceda α. Per applicare tale teoria, il problema che deve essere risolto è costruire delle statistiche test τ(y 1,..., Y N ) che hanno una distribuzione nota sotto H 0. 36

38 Metodo degli intervalli di confidenza Se { H0 : θ = θ 0 H 1 : θ θ 0 si può calcolare una stima basata su un intervallo di confidenza di θ dai dati, e se l intervallo contiene θ 0, accettare H 0, altrimenti rifiutare. Se l intervallo ha un coeffciente di confidenza pari a (1 α), allora il test risultante avrebbe un livello di significatività di α 37