Statistica Matematica 3

Transcript

1 Statistica Matematica 3 1 Regole bayesiane formali nella stima puntuale di un parametro reale Θ D R con D intervallo (limitato o no) P probabilità su T E P(Z) = Θ θ P(dθ) finito. Allora, per l internalità, E P(Z) D. Danno quadratico Supposto E P(Z ) = θ P(dθ) < + otteniamo E P(L d ) = (θ d) P(dθ) = E P(Z ) d E P(Z) + d Θ e quindi E P(Z) è l unico punto di minimo della funzione d E P(L d ). Θ Teorema E P (Z x) = E P( x) (Z ) finito per ogni x. Allora, la funzione φ (P) (x) = E P (Z x) = E P( x) (Z) che associa ad ogni campione il valor medio finale dello stato di natura relativo a quel campione, è l unica regola bayesiana formale. Inoltre, posto Var P (Z x) = [θ φ (P) (x)] P(dθ x) per ogni campione x, si ha ρ P (φ (P) ) = Θ X Var P (Z x) P (pr) (dx) e quindi il danno medio relativo alla regola bayesiana formale si ottiene misturando le varianze finali dello stato di natura con la probabilità predittiva. 1

2 Dimostrazione Posto P = P( x) otteniamo che φ (P) è l unica regola bayesiana formale. Inoltre, osservato che, per il teorema di Fubini, φ (P) è ℵ-Borel misurabile, risulta la T ℵ-Borel misurabilità di L(, φ (P) ). Si ha allora [ ] ρ P (φ (P) ) = ρ P (φ (P) (x) x) P (pr) (dx) = L(θ, φ (P) (x)) P(dθ x) P (pr) (dx) X [ = X Θ [ θ φ (P) (x) ] P(dθ x) ] P (pr) (dx). X Θ Danno lineare Sia d un quantile di livello k relativo a P, cioè: P(], d ]) k, P([d, + [) 1 k. Per provare che d minimizza la funzione d E P(L d ) basta verificare, essendo i danni medi E P(L d ), E P(L d ) finiti (E P(Z) finito!), la disuguaglianza: E P(L d ) E P(L d ) = E P(L d L d ) 0.

3 d > d. Riesce (1 k)(d d ) se θ d L d (θ) L d (θ) = k(d d) + d θ se d < θ d k(d d) se θ > d d d se θ d = k(d d) + d θ se d < θ d 0 se θ > d qualunque sia lo stato θ. Ne segue E P(L d L d ) = k(d d) + (d d ) P(], d ]) + (d θ) P(dθ) ]d,d ] k(d d) + (d d ) P(], d ]) k(d d) + k(d d ) = 0, ricordato che P(], d ]) k. d < d. Si ha (1 k)(d d ) se θ d L d (θ) L d (θ) = k(d d) + θ d se d < θ < d k(d d) se θ d d d se θ d = k(d d) + θ d se d < θ < d 0 se θ d qualunque sia lo stato θ. Ne segue E P(L d L d ) = k(d d) + (d d ) P(], d]) + (θ d ) P(dθ) ]d,d [ k(d d) + (d d ) P(], d]) + (d d ) P(]d, d [) = k(d d) + (d d ) P(], d [) e quindi E P(L d L d ) k(d d) + (d d ) [ 1 P([d, + [) ] k(d d) + k(d d ) = 0, ricordato che P([d, + [) 1 k e d d < 0. 3

4 Teorema E P (Z x) finito per ogni x. Allora, una funzione di decisione che associa ad ogni campione x un quantile di livello k della distribuzione finale relativa a x è una regola bayesiana formale. Danno assoluto Ponendo k = 1 nella funzione di danno lineare otteniamo che sono regole bayesiane formali tutte le funzioni di decisione che associano ad ogni x una mediana della distribuzione finale relativa a x. 4

5 campionamento bernoulliano: Θ = D = [0, 1], X = {0, 1} n, µ = γ X e f θ (x) = θ n x (1 θ) n(1 x) per ogni x. Scelta come densità iniziale π quella della distribuzione Beta(α, β), poniamo: Γ(α + β) π(θ) = Γ(α)Γ(β) θα 1 (1 θ) β 1 ove Γ denota la funzione gamma: Γ(t) = + 0 θ t 1 e θ dθ (t > 0). Ricordiamo che la distribuzione Beta(α, β) ha valor medio: α α + β e varianza: Risulta avendo posto: αβ (α + β + 1)(α + β) f θ (x)π(θ) = K θ αn(x) 1 (1 θ) βn(x) 1 α n (x) = α + n x, β n (x) = β + n(1 x), K = Passando alla densità predittiva, otteniamo Γ(α + β) Γ(α)Γ(β). p(x) = K 1 0 θ αn(x) 1 (1 θ) βn(x) 1 dθ = K Γ(α n(x))γ(β n (x)) Γ(α n (x) + β n (x)) > 0 e quindi X 0 = X. Ne segue π Z X (θ x) = Γ(α n(x) + β n (x)) Γ(α n (x))γ(β n (x)) θαn(x) 1 (1 θ) βn(x) 1. Dunque, la densità finale di Z relativa a x è la distribuzione Beta(α n (x), β n (x)). Allora, la regola di decisione: è l unica regola bayesiana formale. δ (α,β) n (x) = n x + α α + β + n 5

6 Inoltre, è anche uno stimatore. Infatti, posto δ = δ n (α,β), si ha Var θ (δ ) = n (nα + β + 1) Var θ( X) = n (nα + β + 1) Bias θ (δ ) = E θ (δ ) θ = n E θ( X) + α α + β + 1 = n α + α α+β α + β + 1 > 0 e quindi Conseguentemente, δ (α,β) n MSEδ (θ) = Var θ(δ ) + Bias θ (δ ) R αβ (α + β + 1)(α + β) è uno stimatore sia bayesiano che distorto. Osservato che gli errori quadratici medi MSEδ(θ) = x X L(θ, δ(x)) θ n x (1 θ) n(1 x) sono delle funzioni continue, che l indice di preferibilità individuato dalla speranza matematica è P-strettamente monotono e che la probabilità P verifica la condizione sufficiente (b) per l ammissibilità, possiamo concludere che δ (α,β) n ) è ammissibile. Passando a considerare il rischio di Bayes ρ(α, β) della probabilità iniziale otteniamo ( [ ] ) (α + n X) β + n(1 X) (α + n)(β + n) ρ(α, β) = E P (pr) (α + β + n + 1)(α + β + n) (α + β + n + 1)(α + β + n) e quindi il danno medio ineliminabile è un infinitesimo al divergere del numero delle osservazioni. 6

7 campionamento normale (con media incognita): Θ = R, X = R n, µ = λ n e n f θ (x) = (πσ ) n exp i=1 [ (x i x) ] n( x ] θ) exp [ σ σ Supposto che la densità iniziale π sia quella della distribuzione normale N(α, β ), otteniamo { f θ (x)π(θ) = K n (x) exp 1 [ (θ α) + β n( x θ) σ ]} con n K n (x) = (πσ ) n (πβ ) 1 exp i=1 [ (x i x) ]. σ Posto allora: β n = ( 1 β + n σ ) 1, αn (x) = risulta osservato che (θ α) β + [ α β + n x σ ] [ K f θ (x)π(θ) = K n (x) exp n (x) ] exp n( x θ) σ = β n, K n(x) = α n(x) β n [ [θ α n(x)] β n [ 1 β + n ] [ α θ σ β + n x ] [ α ] θ + σ β + n x σ = 1 β n { [ α θ β + n x [ α β + n x σ ] β n + [ α ] +n x β σ ], ] [ α β σ n θ + β + n x ] β } σ n [ α ] β + n x σ = [θ α n (x)θ + α n (x)] β n { αn (x) β n [ α β + n x σ ]} = [θ α n(x)] β n K n(x). Passando alla densità predittiva, si ha allora [ K p(x) = K n (x) exp n (x) ] + exp [ [θ α n(x)] ] dθ = K n (x) exp 7 β n [ K n (x) ] πβ n > 0

8 e quindi X 0 = X. Ne segue π Z X (θ x) = 1 πβ n exp [ [θ α n(x)] Dunque la densità finale di Z relativa a x è la distribuzione normale N(α n (x), β n). Allora, la funzione di decisione: δ (α,β ) n (x) = α n (x) = n σ x + 1 β α n σ + 1 β β n ]. = nβ x + σ α nβ + σ, ottenuta facendo la media aritmetica ponderata della media campionaria e del valor medio iniziale dello stato di natura, è l unica regola bayesiana formale. Inoltre, è anche uno stimatore. Infatti, posto δ = δ (α,β ) n, si ha Var θ (δ ) = n β 4 (nβ + σ ) Var θ( X) = Bias θ (δ ) = E θ (δ ) θ = nβ E θ ( X) + σ α nβ + σ e quindi MSEδ (θ) = Var θ(δ ) + Bias θ (δ ) R. n β 4 σ (nβ + σ ) n = nβ θ + σ α nβ + σ > 0 Conseguentemente δ (α,β ) n è uno stimatore sia bayesiano che distorto. Ricordato che l indice di preferibilità individuato dalla speranza matematica è P-strettamente monotono, che le funzioni di rischio degli stimatori sono funzioni continue e che la probabilità P verifica la condizione sufficiente (b) per l ammissibilità, possiamo concludere che δ (α,β ) n è ammissibile. Passando a considerare infine il rischio di Bayes ρ(α, β ) della probabilità iniziale otteniamo ρ(α, β ) = β n = β σ σ + nβ e quindi il danno medio ineliminabile è un infinitesimo al divergere del numero delle osservazioni. 8

9 Teorema Sia δ uno stimatore (ℵ-Borel misurabile) non distorto e bayesiano formale per P rispetto al danno quadratico. Supposto E P (Z ) finita risulta ρ(p) = 0, cioè (θ δ(x)) P (sb) (dθ dx) = ρ(p) = 0. Θ X Ne segue δ = Z (P (sb) -q.c.), cioè che la stima dello stato di natura è quasi certamente perfetta. Poichè una situazione così ottimale non è realizzabile nei problemi statistico-decisionali reali, il teorema mette in evidenza l incompatibilità pratica delle nozioni di non distorsione e di bayesianeità. campionamento bernoulliano Osservato che la media campionaria X è uno stimatore non distorto, andiamo a determinare le probabilità iniziali per le quali è uno stimatore bayesiano formale. Risulta 0 = ρ P (X) = Var θ (X) P(dθ) = 1 [0,1] n [0,1] θ(1 θ) P(dθ) Osservato che l integrale si annulla solo se P(]0, 1[) = 0, risulta P({0, 1}) = 1. Data una regola bayesiana δ (formale o no) otteniamo ρ P (δ ) = MSEδ (0)P(0) + MSE δ (1)P(1) = 0 e quindi MSEδ (i) = 0, se P(i) > 0 (i = 0, 1). Osservato che MSEδ (0) = δ (0) MSEδ (1) = (1 δ ((1,..., 1))) otteniamo δ (0) = 0, se P(0) > 0, e δ ((1,..., 1)) = 1, se P(1) > 0. Poichè, viceversa, per questo tipo di probabilità ogni stimatore che verifica queste due condizioni è banalmente bayesiano, possiamo concludere che lo è anche la media campionaria. 9

10 Regole bayesiane formali nella stima puntuale di un parametro vettoriale Supposto che lo stato di natura sia la coppia aleatoria Z = (Z 1, Z ), sia: ν i una misura σ-finita di riferimento sui boreliani dell insieme Θ i R dei valori possibili di Z i (i = 1, ) Θ = Θ 1 Θ e T = B () Θ π una densità della probabilità congiunta iniziale P (rispetto ν = ν 1 ν ) E P(Z i ) = Θ i θ i π(θ 1, θ ) ν(dθ 1 dθ ) finito (i = 1, ). Θ D R m, con D convesso chiuso funzione di danno la forma quadratica (nelle componenti del vettore θ d): L(θ, d) = (θ d) T M (θ d), ove M = (a ij ) 1 i, j matrice simmetrica definita positiva ( ) E P(Z d 1 ) = E P(Z ) Dalla bilinearità del prodotto righe per colonne si ha L(θ, d) = [ (d d) + (θ d ) ] T M [ (d d) + (θ d ) ] e quindi = (d d) T M (d d) + a ij (d i d i )(θ j d j)) + (θ d ) T M (θ d ). i=1 j=1 E P(L(Z, d)) = (d d) T M (d d) + E P( (Z d ) T M (Z d ) ). Essendo M definita positiva, d è l unico punto di minimo della funzione d E P(L(Z, d)). 10

11 Per provare che d D, assumiamo d D. Allora per il: Teorema (di separazione punto-convesso chiuso) Siano B R m convesso chiuso e x R m tali che x B. Esistono una m-pla a 0 e un numero reale α tali che: a 1 x a m x m > α a 1 y a m y m α per ogni y B esiste una coppia a 0 e un numero reale α tali che a 1 d 1 + a d > α a 1 d 1 + a d α per ogni d D Posto Y = a 1 Z 1 +a Z, dalla seconda disuguaglianza otteniamo P(Y α) = 1 e quindi E P(Y ) α; ne segue a 1 d 1 +a d α contraddicendo così la prima disuguaglianza. Teorema Sia E P (Z i x) finito per ogni campione x (i = 1, ). Allora, considerata la funzione di danno quadratica, esiste una sola regola bayesiana formale; precisamente, la funzione di decisione: ( ) φ (P) EP (Z 1 x) (x) = E P (Z x) che associa ad ogni campione il vettore dei valori medi finali dello stato di natura relativi a quel campione. 11

12 .1 Regole bayesiane formali nella stima intervallare Stima intervallare: Θ R, D famiglia di intervalli limitati di Θ funzione di danno lineare: L(θ, d) = k λ(d) + 1 I d (θ) (k > 0) stimatore intervallare: δ tale che la lunghezza aleatoria λ(δ) è ℵ-Borel misurabile e l insieme di copertura {θ δ} di θ appartiene a ℵ per ogni stato θ. Risulta R δ (θ) = E θ (k λ(δ) + 1 I δ (θ)) = ke θ (λ(δ)) + 1 E θ (I δ (θ)) e quindi R δ (θ) = ke θ (λ(δ)) + 1 P θ (θ δ). Quindi, nello stato θ, la funzione di rischio incorpora due componenti: la lunghezza media E θ (λ(δ)) dell intervallo aleatorio δ(x) la probabilità di copertura P θ (θ δ) di θ, cioè la probabilità che l intervallo aleatorio contenga θ. 1

13 Posto ν = λ, la probabilità P ammetta una densità π continua e unimodale in senso forte (cioè esiste un punto di massimo θ tale che π( 1 ) < π(θ ), se θ 1 < θ < θ, e π(θ 1 ) > π(θ ), se θ < θ 1 < θ. Il problema di massimo vincolato: b max π(θ) dθ a b a = α (1) ammette una sola soluzione per ogni numero reale α > 0. Osservato che sia la funzione obiettivo che quella relativa al vincolo hanno derivate parziali continue, usiamo il metodo dei moltiplicatori di Lagrange. Considerata la funzione: poniamo dunque F (a, b, λ 1 ) = b a π(θ) dθ + λ 1 (b a α), a F (a, b, λ 1) = π(a) λ 1 = 0 b F (a, b, λ 1) = π(b) + λ 1 = 0 λ 1 F (a, b, λ 1 ) = b a α = 0 da cui otteniamo { π(a) = π(b) b a = α Quindi la densità π assume gli stessi valori sugli estremi dell intervallo. Conseguentemente, per la unimodularità della densità, l intervallo [a, a + α] tale che π(a) = π(a + α) è l unica soluzione del problema. 13

14 Osservato che l unica soluzione del problema di minimo vincolato: min(b a) b a π(θ) dθ = β con β ]0, 1] verifica la condizione π(a) = π(b), gli intervalli [a, b] con π(a) = π(b) possono essere intesi come gli intervalli che sono: di massima probabilità tra quelli di lunghezza α; di minima lunghezza tra quelli di probabilità β. Inoltre, per l unimodularità, possono anche essere visti come insiemi del tipo { π ϑ} con ϑ [0, 1]. Teorema Siano ν = λ e π( x) una funzione continua e unimodale in senso forte per ogni x. Inoltre, sia φ una regola bayesiana formale per P. Allora, la funzione di decisione che associa ad ogni x la soluzione del problema (1) con π = π( x) e α = λ(φ (x)) è una regola bayesiana formale. Dimostrazione Indicata con φ tale funzione di decisione, risulta ρ P (φ (x) x) ρ P (φ (x) x) = klg(φ (x)) + 1 π(θ x) dθ φ (x) klg(φ (x)) + 1 π(θ x) dθ = ρ P (φ (x) x) per ogni x. φ (x) Le regole bayesiane formali vanno quindi ricercate tra le funzioni di decisione φ che associano ad ogni campione x l intervallo di massima probabilità finale tra tutti quelli di lunghezza λ(φ(x)). 14

15 . Regole bayesiane formali nella verifica di ipotesi Osservato che E P(L 0 ) = k 0 d P, Θ 1 E P(L 1 ) = k 1 d P Θ 0 la decisione d minimizza il danno medio se e solo se: d 0 se k 0 d P < k 1 d P Θ 1 Θ 0 d = d 0 o d 1 se k 0 d P = k 1 d P. Θ 1 Θ 0 d 1 se k 0 d P > Θ 1 k 1 d P Θ 0 Teorema Ogni funzione di decisione φ tale che: d 0 se k 0 (θ) P(dθ x) < k 1 (θ) P(dθ x) Θ 1 Θ 0 φ(x) = d 1 se k 0 (θ) P(dθ x) > k 1 (θ) P(dθ x) Θ 1 Θ 0 è un test bayesiano formale per P. Corollario Sia la funzione k i una costante di valore K i (i = 0, 1). Allora, ogni funzione di decisione φ tale che: K 1 d 0 se P(Θ 0 x) > K 0 + K 1 φ(x) =. d 1 se P(Θ 0 x) < K 0 + K 1 è un test bayesiano formale per P. K 1 15

16 Θ = R, ν = λ e Θ 0 = ], θ 0 ] (θ 0 fissato) k 0 (θ) = K 0 (θ θ 0 ), k 1 (θ) = K 1 (θ 0 θ) E P (Z x) finita per ogni campione x Risulta Θ 0 k 1 (θ) P(dθ x) = K 1 ],θ 0 ] (θ 0 θ) P(dθ x) k 0 (θ) P(dθ x) = K 0 (θ θ 0 ) P(dθ x) Θ 1 ]θ 0,+ [ = K 0 E P (Z θ 0 x) K 0 = K 0 E P (Z x) K 0 θ 0 + K 0 ],θ 0 ] ],θ 0 ] (θ θ 0 ) P(dθ x) (θ 0 θ) P(dθ x) qualunque sia x. Pertanto, ogni funzione di decisione φ tale che: d 0 se E P (Z x) < θ 0 + K 1 K 0 K 0 (θ 0 θ) P(dθ x) ],θ 0 ] φ(x) = d 1 se E P (Z x) > θ 0 + K 1 K 0 (θ 0 θ) P(dθ x) K 0 ],θ 0 ] è un test bayesiano formale per P. Nel caso particolare K 0 = K 1, risulta dunque che è bayesiana formale ogni funzione di decisione φ tale che: d 0 se E P (Z x) < θ 0 φ(x) =. d 1 se E P (Z x) > θ 0 16