Example 2 Una variabile o un vettore aleatorio X è degenere in c se P (X = c) = 1. Dato che la funzione di ripartizione di questa variabile è

Transcript

1 La covergeze i legge per variabili o vettori aleatori è solitamete formulata i termii di fuzioi di ripartizioe. Ricordiamo che la fuzioe di ripartizioe di ua variabile aleatoria X è ua fuzioe di variabile reale defiita da F X (x) = P (X x). Per u vettore aleatorio d-dimesioale la defiizioe è aaloga, ma x è u vettore e la disuguagliaza va itesa coordiata per coordiata. Defiitio 1 X coverge i legge ad X, che idichiamo co X = X, se F X (x) F X (x) per ogi x reale che o è u puto di cotiuità per F (cioè tale che P (X = x) = 0). Ua termiologia alterativa è che X coverge debolmete ad X. Example 2 Ua variabile o u vettore aleatorio X è degeere i c se P (X = c) = 1. Dato che la fuzioe di ripartizioe di questa variabile è { 1, x c F c (x) = 0, x < c, che è discotiua i c, l esclusioe dei puti di discotiuità di F dalla defiizioe precedete serve a recuperare la covergeza delle successioi umeriche come covergeza i legge delle corrispodeti variabili aleatorie degeeri. Il risultato più celebre di covergeza i legge è il teorema del limite cetrale. Propositio 3 Siao X 1,..., X,... i.i.d. co media µ e matrice di covariaza fiita Σ. Allora (X µ) = N(µ, Σ). Defiitio 4 X coverge i probabilità ad X, che idichiamo co X P X, se per ogi ε > 0 P ( X X > ε) 0. Example 5 La covergeza i probabilità richiede che per ogi X e X siao defiite su di uo stesso spazio di probabilità, cosa o richiesta per la covergeza i legge. Quidi la covergeza i legge o implica la covergeza i probabilità. U cotroesempio immediato: basta predere per ogi X 1,..., X i.i.d. co la stessa legge di X, per cui X = X ma X P X. Il risultato più celebre di covergeza i probabilità è la legge dei gradi umeri. Propositio 6 Siao X 1,..., X,... i.i.d. co media µ. Allora X P µ. Nel seguito occorrerà cofrotare successioi di variabili aleatorie. Diamo quidi la seguete Defiitio 7 Siao X e Y, = 1, 2,... successioi di variabili aleatorie sullo stesso spazio di probabilità tali che X Y P 0. Allora scriviamo X = o P (Y ). Possiamo quidi riscrivere X P 0 come X = o P (1). 1

2 I altre questioi occorre ua codizioe più debole che la covergeza i legge. Per questo Defiitio 8 La successioe di variabili aleatorie X, = 1, 2,... è limitata i probabilità se qualuque sia ε > 0 esiste K > 0 tale che P ( X K) 1 ε. Chiariamo subito quato già aticipato co la seguete Propositio 9 Se X, = 1, 2,... coverge i legge, allora è limitata i probabilità Proof. (per d = 1). Risulta dal fatto che se K è tale che K e K soo puti di cotiuità della fuzioe ripartizioe limite F tali che F (K) 1 ε 4, F ( K) ε 4, allora P ( X K) F X (K) F X ( K) 1 ε 2 e quidi P ( X K) risulterà defiitivamete più grade di 1 ε. Importati osservazioi soo le segueti.. Propositio 10 Se la successioe X, = 1, 2,... è limitata i probabilità, metre la successioe Y = o P (1), allora X Y = o P (1). Proof. Sia γ > 0 e si scelga K tale che P ( X K) 1 γ/2. Allora P ( X Y ε) P ( X K, Y ε K ) = P ( X K) P ( X K, Y > ε K ) P ( X K) P ( Y ε K ) e prededo sufficietemete grade il secodo termie può essere reso più piccolo di γ/2. Ne segue che P ( X Y ε) è defiitivamete più grade di 1 γ come desiderato. Corollary 11 Se la successioe X, = 1, 2,... è limitata i probabilità e Z = o P (X ), allora Z = o P (1). Proof. Basta porre Y = Z X ella proposizioe precedete. Corollary 12 Se la successioe umerica a e la successioe di variabili aleatorie Z, = 1, 2,... soo tali che a Z è limitata i probabilità, allora Z = o P (1). I particolare, se X è ua successioe di variabili aleatorie tali che (X µ) è limitata i probabilità, allora X P µ. Proof. Discede dalla proposizioe precedete prededo Y = 1 a, X = a Z. La secoda asserzioe è u caso particolare della prima. I particolare, dalla secoda asserzioe si deduce che è possibile otteere la legge dei gradi umeri dal teorema del limite cetrale quado gli addedi hao variaza fiita (ovviamete è molto più semplice i questo caso usare la disuguagliaza di Chebyshev). 2

3 Propositio 13 { X P X } = {X = X} Proof. (per d = 1). Si osservi che {X x 0 } {X x 0 + ε} { X X > ε} da cui Aalogamete F X (x 0 ) F X (x 0 + ε) + P ( X X > ε). F X (x 0 ε) F X (x 0 ) + P ( X X > ε), quidi se P ( X X > ε) 0, allora F X (x 0 ε) lim if F X (x 0 ) lim sup F X (x 0 ) F X (x 0 + ε). Se x 0 è u puto di cotiuità di F X si coclude che F X (x 0 ) F X (x 0 ). Propositio 14 Se c R d allora X = c implica X P c (i altre parole covergeza i probabilità e i legge soo idetiche quado il limite è degeere). Proof. (per d = 1). Segue da P ( X c ε) F X (c + ε) F X (c ε), e dato che il primo termie del membro di destra tede a 1, metre il secodo tede a 0, la prova è completa. Propositio 15 Le segueti codizioi soo equivaleti: 1. X = X; 2. E(g(X )) E(g(X)) per tutte le fuzioi a valori reali g, cotiue a supporto compatto; 3. E(g(X )) E(g(X)) per tutte le fuzioi a valori reali g, cotiue e limitate; 4. E(g(X )) E(g(X)) per tutte le fuzioi a valori reali g limitate tali che P (X C(g)) = 1, dove C(g) è l isieme dei puti di cotiuità di g. Proof. Omettere i prima lettura. Basta dimostrare che 4. = 1. = 2. = 3. = = 1. (per d = 1) La fuzioe { 1, x x0 g x0 (x) = 0, x > x 0 3

4 ha come isieme dei puti di cotiuità R\ {x 0 }. Quidi, se P (X = x 0 ) = 0, allora E(g x0 (X )) = P (X x 0 ) P (X x 0 ) = E(g x0 (X)). 1. = 2. (per d = 1) Prima di tutto, se g è cotiua a supporto compatto, è uiformemete cotiua. Dato ε > 0 sia quidi δ > 0 tale che x y < δ = g(x) g(y) < ε. A questo puto si partizioi R i itervalli aperti (c k, b k ], co k = 0, ±1, ±2,... dove c k = b k 1 è u puto di cotiuità di F X e c k b k < δ per ogi k (questo è possibile perchè i puti di discotiuità soo al più u ifiità umerabile). Defiiamo quidi g(x) = k g(b k )1 (ck,b k ](x) = k g(b k )1 (,bk ](x) k g(b k )1 (,ck ](x) = k (g(b k ) g(b k+1 ))1 (,bk ](x) = k a k 1 (,bk ](x) dove, dato che g è cotiua a supporto compatto, la somme scritte sopra soo tutte fiite. e segue che E ( g(x )) = k a k F X (b k ) = k a k F X (b k ) = E ( g(x)) Ioltre dato che g(x) g(x) < ε E (g(x )) E (g(x)) E (g(x )) E ( g(x )) + E ( g(x )) E ( g(x)) + E ( g(x)) E (g(x)) 2ε + E ( g(x )) E ( g(x)) 2ε. Dato che questo è vero per ogi ε > 0, e segue l asserto. 2. = 3. Sia g cotiua e g(x) A per ogi x. Fissato ε > 0, sia B tale che P ( X B) = P ( X > B) < ε 2A. Ifie, sia h ua fuzioe cotiua tale che 0 h(x) 1 per ogi x, e { 0, x B + 1 h(x) = 1, x B. Allora E (g(x )) E (g(x)) E (g(x )) E (g(x )h(x )) + E (g(x )h(x )) E (g(x)h(x)) + E (g(x)h(x)) E (g(x)) Ora il termie di mezzo va a zero, perchè gh è cotiua e a supporto compatto. Per quato riguarda il primo termie E (g(x )) E (g(x )h(x )) E { (g(x )) 1 h(x ) } AP ( X > B) ε 2, 4

5 metre aalogamete il terzo termie è maggiorato da ε 2. Essedo ε arbitrario, l asserto è dimostrato. 3. = 4. Richiede la costruzioe di fuzioi cotiue e limitate f ed h tali che f g h e E(h(X) f(x)) < ɛ, dove ε può essere preso arbitarriamete piccolo. Se questo è possibile allora E(g(X)) ε E(f(X)) = lim E(f(X )) lim if E(g(X )) lim sup E(g(X )) lim E(h(X )) = E(h(X)) E(g(X)) + ε, che prova l asserto. Le fuzioi f e h si possoo determiare perchè le successioi f k (x) = if y {g(y) + k x y }, h k(x) = sup {g(y) k x y }, k = 1, 2,... y soo o decrescete la prima, o crescete la secoda; ioltre f k (x) g(x) h k (x). Quidi esistoo i limiti lim k f k (x) = f 0 (x) g(x) h 0 (x) = lim k h k (x) Se g è cotiua i x, allora le disuguagliaze divegoo uguagliaze. Ifatti sia ε > 0 arbitrario, e sia δ > 0 tale che se x y < δ allora g(x) g(y) < ε. Se chiamiamo ioltre B u limite iferiore per la fuzioe g, allora per k > g(x) B δ { } f 0 (x) f k (x) = ( mi if y x <δ (g(y) + k x y ), if (g(y) + k x y ) y x δ ) = g(x) ε g(x) ε, B + g(x) B δ δ e dato che ε è arbitrario, f 0 (x) = g(x). I modo aalogo questo si dimostra per h 0. Ioltre soo f k e h k soo limitate e cotiue, perchè lipschitziae; ad esempio per f k si ha f k (x ) f k (x) = if {g(y) + k y x y } if {g(y) + k x y } y k x x e aalogamete per h k. Ifie dato che P (X C(g)) = 1, applicado il teorema della covergeza domiata lim k E(f k (X)) = E(f 0 (X)) = E(g(X)) = E(h 0 (X)) = lim k E(h k (X)). che garatisce l esisteza di u idice k tale che E(h k (X)) E(f k (X)) < ε, qualuque sia ε > 0. Propositio 16 Se X = X, allora: 5

6 1. Se f : R d R k è tale che P (X C(f)) = 1, allora f(x ) = f(x) (cotiuous mappig theorem); 2. Se X Y P 0, allora Y = X; 3. Se Y = c, allora (X, Y ) = (X, c). Proof. 1. Si deve mostrare che se g è a valori reali, cotiua e limitata, allora E(g(f(X )) E(g(f(X)). Detta h = g f, si osserva che i puti di cotiuità di f soo coteuti ei puti di cotiuità di h, e quidi l asserto segue da 4. della Proposizioe precedete. 2. Basta dimostrare che E(g(Y )) = E(g(X)) per tutte le fuzioi cotiue g a supporto compatto. Dato che g è uiformemete cotiua, per ogi ε > 0 esiste δ > 0 tale che x y < δ = g(x) g(y) < ε. Ioltre g(x) B per ogi x. Quidi E(g(Y )) E(g(X)) E(g(Y )) E(g(X )) + E(g(X )) E(g(X)) = E { { } g(y ) g(x ) 1 { X Y <δ}} + E g(y ) g(x ) 1 { X Y δ} + E(g(X )) E(g(X)) ε + 2BP ( X Y δ) + E(g(X )) E(g(X)) ε. 3. Dato che P ( (X, Y ) (X, c) > ε) = P ( Y c > ε) 0 è sufficiete osservare che (X, c) = (X, c). Corollary 17 Sotto le codizioi della precedete Proposizioe, puto 3., se f : R d+k R r è tale che P ((X, c) C(f)) = 1, allora si ha che f(x, Y ) = f(x, c). Proof. La prova segue applicado i puti 3. e 1. della precedete Proposizioe. Corollary 18 Se X = X e Y = c, allora X + Y = X + c e Y X = cx; se c 0, allora X Y X c (teorema di Slutzky). Example 19 Se X 1,..., X,... è u campioe i.i.d. da ua legge co media µ e variaza σ 2 > 0, allora per la legge dei gradi umeri X = µ, 1 Xj 2 = E(X1 2 ) = σ 2 + µ 2. j=1 Detta s 2 = 1 Xj 2 ( ) 2 X j=1 6

7 la variaza campioaria, applicado il corollario precedete alla fuzioe h(x, y) = σ si ha y x 2 σ σ s = 1 j=1 X2 j ( X ) 2 = 1. Dato che, per il Teorema del Limite Cetrale (X µ)/σ = N(0, 1) dall esempio precedete, si ha quidi (X µ)/s = N(0, 1) I particolare, el caso X 1 sia gaussiaa, questo dimostra che la legge t di Studet co ν gradi di libertà coverge i legge alla N(0, 1) quado ν, dato che i questo caso ν(x ν+1 µ)/s ν+1 ha proprio questa legge, a meo del ν+1 fattore ν, che tede ovviamete a 1. Veiamo ora al risultato pricipale che vogliamo presetare, il cosiddetto metodo delta. Propositio 20 Sia g : R d R k ua fuzioe differeziabile i µ R d. Se X, = 1, 2,... è ua successioe di vettori aleatori d-dimesioali tali che (X µ) = X allora (g(x ) g(µ)) = Dg(µ)X dove Dg(µ) è la matrice jacobiaa di g i µ. I particolare, se X N(0, Σ) e Dg(µ) 0, allora Dg(µ)X N(0, Dg(µ)ΣDg(µ) t ). Proof. La differeziabilità di g i µ equivale a dire che si può scrivere come r(x) = g(x) g(µ) + Dg(µ) (x µ) r(x) = x µ ε(x µ) dove ε(y) 0 quado y 0. Segue che r(x ) = o P ( X µ ), dato che dall ipotesi segue che X µ P 0. Quidi (g(x ) g(µ)) = Dg(µ) (X µ) + o P ( (X µ)) Il primo termie tede i legge a Dg(µ)X per il cotiuous mappig theorem, il secodo è o P (1). Applicado quidi il teorema di Slutzky si coclude. 7

8 Example 21 Sappiamo che, per u campioe casuale da ua legge co media µ e variaza σ 2, per il terorema del limite cetrale (X µ) = N(0, σ 2 ) Se cosideriamo el teorema precedete la fuzioe g(x) = x 2, otteiamo, dato che g (µ) = 2µ il risultato (X 2 µ 2 ) = N(0, 4µ 2 σ 2 ). Quado µ = 0 il teorema si può applicare ugualmete, ma dà solo il risultato 2 X P 0. Ivece, utilizzado ella dimostrazioe del teorema uo sviluppo i serie di Taylor al secodo ordie, si può otteere il risultato più accurato X 2 = σ 2 χ 2, dove χ 2 sta per la legge del quadrato di ua variabile gaussiaa stadard. Questa approssimazioe è evidetemete esatta quado la legge di parteza è gaussiaa. Remark 22 Suppoiamo che T sia ua statistica tale che, sotto la probabilità P µ (T µ) = N(0, σ 2 (µ)), per tutti i valori del parametro µ. Per varie questioi da approfodire el seguito è preferibile otteere ua legge limite che o dipeda dal parametro µ. Ovviamete si potrebbe dividere la variabile al membro di siistra per σ(µ), i modo che la legge limite sia N(0, 1), ma elle applicazioi statistiche µ o è oto, e questa soluzioe o è praticabile. Si può ivece applicare ua trasformazioe che stabilizza la variaza g tale che g (µ)σ(µ) = c e quidi (g(t ) g(µ)) = N(0, c 2 ). Si osservi che ua trasformazioe che stabilizza la variaza si ottiee risolvedo l equazioe differeziale g (µ) = c σ(µ). Example 23 U esempio multidimesioale di applicazioe del metodo delta. La variaza di u campioe casuale X 1,..., X di dimesioe può essere scritta come s 2 = 1 (X i X ) 2 = 1 i=1 Zi 2 Z 2 = g(z, Y ) dove Z i = X i µ, Y i = (X i µ) 2, i = 1,..., e g(z, y) = y z 2. Per il teorema del limite cetrale multidimesioale, se X 1 ha mometo quarto fiito, idicado co µ e σ 2 la media e la variaza di X 1,, allora {( Z Y ) ( )} {( 0 0 σ 2 N 0 i=1 ) ( σ 2 cov(z, 1, Y 1 ) cov(z 1, Y 1 ) var(y 1 ) )} 8

9 e idicado co µ 3 e µ 4 i mometi terzo e quarto della variabile X 1 dalla sua media, si ha cov(z 1, Y 1 ) = E(Z1) 3 E(Z 1 )E(Z1) 2 = µ 3 var(y 1 ) = E(Z1) 4 (E(Z1)) 2 2 = µ 4 σ 4. Dato che Dg(0, σ 2 ) = (0, 1), si ha ifie che (s 2 σ 2 ) N(0, µ 4 σ 4 ). Di uovo la gaussiaa limite ha ua variaza che dipede da parametri igoti della distribuzioe di parteza. Si osservi però che q 2 = 1 (X i X ) 4 s 4, i=1 per il cotiuous mappig theorem, coverge i probabilità a µ 4 σ 4. Applicado il teorema di Slutzky, quidi, sotto la sola codizioe che il mometo quarto della variabile X 1 sia fiito, si ha (s 2 σ 2 ) N(0, 1). q Se si assume ua legge gaussiaa per X 1, allora µ 4 = 3σ 4, e quidi 2 ( s2 1) N(0, 1). σ2 Cocludiamo presetado i risultati fodametali della statistica o parametrica, il teorema di Gliveko-Catelli, il teorema di Dosker e l applicazioe al test di Kolmogorov-Smirov. Siao X 1,..., X i.i.d. dalla fuzioe di ripartizioe F. Si cosideri la fuzioe di ripartizioe empirica Dato che le variabili F (x) = 1 1 {Xi x}, x R. i=1 Y i = 1 {Xi x}, i = 1,..., costituiscoo uo schema di Beroulli co probabilità di successo F (x) sappiamo dalla legge debole dei gradi umeri che, per ogi x R F (x) P F (x), cioè, ɛ > 0 lim P ( ) F (x) F (x) ɛ = 0. 9

10 Il teorema di Gliveko-Catelli permette i sostaza di portare il quatificatore all itero della probabilità P. Per prima cosa osserviamo che sup F (x) F (x) = F (x) F (x) sup x Q, x: F (x)>0 e quidi il sup, essedo limite di ua successioe di variabili aleatorie, è ua variabile aleatoria essa stessa. Propositio 24 Per sup F (x) F (x) P 0. Proof. Sia ɛ > 0 arbitrario, scegliamo k > 2 ɛ e chiamiamo x j i j k -quatili, caratterizzati uicamete da F (x j ) j k F (x j), j = 1,..., k 1, e defiiamo ioltre x 0 = e x k = +. Per come abbiamo scelto k F (x j 1 ) F (x j ) ɛ/2. Verifichiamo ora che, posto { ( k, = max F (x j ) F (x j ), F )} (x j ) F (x j ) si ha che max j=1,...,k 1 sup F (x) F (x) k, + ɛ/2. Ifatti per x j 1 x < x j si ha F (x) F (x) F (x j ) F (x) F (x j ) F (x j )+F (x j ) F (x) k, +ɛ/2 e ua miorazioe aaloga può essere altrettato facilmete data. Si coclude otado che, per la legge debole dei gradi umeri, il membro di siistra della disuguagliaza seguete tede ad 1, per il teorema dei due carabiieri questo è vero ache per il membro di destra ( P ( k, ɛ/2) P sup F ) (x) F (x) ɛ. Applicado ora il teorema del limite cetrale multidimesioale si ottiee che se x 1 <... < x N soo umeri reali qualsiasi, allora il vettore di compoeti ( F (x j ) F (x j )), j = 1,..., N 10

11 coverge i legge ad ua gaussiaa N-dimesioale co matrice di covariaza σ i,j = F (x i )(1 F (x j )), i < j. Questo risultato o è sufficietemete fie per dedure il comportameto asitotico di fuzioali che dipedoo da tutti i puti x R, come el caso del sup. Per apprezzare il risultato seguete, dovuto a Dosker, occorre la ozioe di covergeza di leggi i uo spazio metrico. No vogliamo qui idicare quale sia questo spazio metrico (di fuzioi defiite su R). Il corollario, tuttavia, forisce uo strumedo immediato per effettuare u test di botà del adattameto ad ua distribuzioe F, detto test di Kolmogorov-Smirov. Propositio 25 Il processo stocastico ( F (x) F (x)), x R coverge i legge per al processo stocastico W (F (x)), dove W è il pote Browiao (e cioè u processo Gaussiao di media zero e co covariaza r(u, v) = u(1 v), 0 u < v 1). Corollary 26 La variabile aleatoria sup F (x) F (x) coverge i legge per a che ha fuzioe di ripartizioe G(u) = 2 sup W (u), u (0,1) ( 1) k exp { 2k 2 u 2}. k=0 Fissato 0 < α < 1 è quidi possibile determiare G 1 (1 α) e quidi otteere: 1. u test di livello asitotico α dell ipotesi che F = F 0, che rifiuta questa ipotesi quado sup F (x) F 0 (x) G 1 (1 α), 2. ua bada di cofideza di livello asitotico 1 α, data da F (x) 1 G 1 (1 α) F (x) F (x) + 1 G 1 (1 α). La probabilità che questa sia soddisfatta dalla fuzioe di ripartizioe da cui soo estratti i dati, per ogi x R, tede ad 1 α. 11