! X (92) X n. P ( X n X ) =0 (94)

Transcript

1 Convergenza in robabilità Definizione 2 Data una successione X 1,X 2,...,X n,... di numeri aleatori e un numero aleatorio X diremo che X n tende in probabilità a X escriveremo X n! X (92) se fissati comunque due numeri positivi, è possibile determinare un intero n,, tale che per ogni n>n, risulti o, in altri termini, se ( X n X ) < (93) 8 >0lim n!1 ( X n X ) =0 (94) Nel caso di vettori aleatori con dimensioni k maggiori di 1 la disuguaglianza X n X vale componente per componente. Significato geometrico per k =1. Dire che X n! X equivale a dire che la probabilità della striscia X n X < qualunque sia l ampiezza (2 ) tende a 1 o equivalentemente che la probabilità della parte di piano X n X tende a 0. G. Sanfilippo - Cd pag. 394

2 Applicazione - Legge dei grandi numeri Sia X 1,X 2,...,X n,... una successione di variabili aleatorie i.i.d, con E(X n )=µ e var(x n )= 2 finite. Consideriamo la successione delle medie aritmetiche X n = nx X i /n. i=1 Si ha E(X n ) = µ e var(x n ) = 2 /n. ertanto la media aritmetica avrà una distribuzione centrata su µ che al tendere di n all infinito avrà una varianza infinitesima var(x n )= 2 /n! 0, ovvero sempre più concentrata su µ. Osserviamo che per trovare la distribuzione di X n bisognerebbe fare n roviamo che X n! µ cioè, la successione X n converge in probabilità al numero aleatorio X = µ. er la disuguaglianza di Cebicev si ha 1 convoluzioni. ( X n µ ) apple var(x n) 2 G. Sanfilippo - Cd pag. 395

3 ma var(x n )= 2 /n! 0 pertanto si ha 8 >0lim n!1 ( X n µ > )=0. Tale risultato prende il nome di Legge (debole) dei grandi numeri. Adesempioèutile per stimare la vera misura di una lunghezza, dopo aver e ettuato diverse misure, si può considerare come vera misura la media aritmetica. In particolare tale risultato prende anche il nome di Teorema di Bernoulli, in quanto nella sua prima forma fu dimostrato da (Jakob) Bernoulli 26. Sia X 1,X 2,...,X n,... una successione di variabili aleatorie bernoulliane i.i.d, con E(X n )=p e var(x n )=p(1 p) finite. Ovvero X i = 1, con (Xn =1)=p 0, con (X n =0)=1 p = q Osserviamo che le X i possono essere viste come indicatori degli eventi E i, con E 1,E 2,...,E n,... indipendenti ed equiprobabili di probabilità p. Se E i = successo alla i-esima prova, allora la successione delle medie aritmetiche X n = n i=1 X i n = n i=1 E i n 26 Ars conjectandi, 1713 G. Sanfilippo - Cd pag. 396

4 diviene la frequenza relativa f n di successo su n prove. er Cebicev si ha (E(f n )=p, V ar(f n )= pq n ) equindiilteoremadiviene 8 >0, ( f n p ) apple pq n 2 (95) 8 >0lim n!1 ( f n p ) =0. Cioè la frequenza relativa di successo converge in probabilità alla probabilità p di successo in ogni prova. Se indichiamo con S n = n i=1 E i la frequenza assoluta di successo, la Legge dei grandi numeri ci dice che per ogni fissato piccolo a piacere si ha ( f n p < )! 1, ovvero, al crescere di n tende a 1 la probabilità dell evento p <f n <p+ (96) oequivalentemente,dell evento np n < S n <np+ n. (97) G. Sanfilippo - Cd pag. 397

5 Considerando l evento contrario, l equazione (95), diviene 8 >0, ( f n p < ) 1 pq n 2. (98) Ad esempio, per p =0.5, sefisso =0.01, dallatabella14 la legge dei grandi numeri pq ci dice che f n con probabilità maggiore o uguale a 1 n 2,pernsu cientemente grande, tende ad assumere valori compresi nell intervallo [0.49, 0.51]. er quanto riguarda S n si osserva sempre dalla stessa Tabella che nulla si può dire sulla sua convergenza. Infatti, per fissato, l ampiezza (2n ) dell intervallo[np n, np + n ] cresce all aumentare di n. pq n 1 n 2 p <f n <p+ np n < S n <np+ n 2n <f 10 < <S 10 < <f 100 < <S 100 < <f 1000 < <S 1000 < <f < <S < <f < <S < <f 10 6 < <S 10 6 < Tabella 14: Legge dei grandi numeri, p =0.5, =0.01 er quanto riguarda S n,ricordandochee(s n )=np, sihaunaltroimportanterisultato dovuto sempre a J. Bernoulli 8k >0lim n!1 ( S n np >k)=1. G. Sanfilippo - Cd pag. 398

6 Cioè il numero di S n np tende in probabilità all infinito. ossiamo pertanto dire che, in riferimento al lancio di una moneta, se si fanno un numero elevati di lanci la frequenze relativa di T esta sarà, con probabilità alta, vicina a 1/2, ma la frequenza assoluta, cioè il numero di volte in cui si presenta T esta, sarà probabilmente lontano da n/2. Se ad ogni lancio si vince 1 se esce T esta e 1 se esce Croce, allora dopo un numero elevato di lanci la vincita (positiva o negativa) sarà lontana da zero. Convergenza in Legge e convergenza in robabilità* 27 Teorema 1 Se X n! X allora Xn L! X. Inoltre se X = a con probabilità 1 vale il viceversa, cioè se X n L! X allora Xn! X Il precedente teorema dimostra che la convergenza in probabilità è più forte della convergenza in legge, tranne per variabili degenere. In generale la convergenza in legge non implica la convergenza in probabilità. Vediamo un controesempio. Esempio 4 Sia X 1,X 2,...,X n,... una successione di variabili aleatorie indipendenti e uniformemente distribuite in (0, 1) e sia X una variabile aleatoria con distr. unif. sempre in (0, 1) Essendo tutte le variabili in gioco con stessa distribuzione tutte 27 Facoltativo G. Sanfilippo - Cd pag. 399

7 avranno come funzione di ripartizione la funzione F n = F definita come F (x) = 8 < : 0, se x apple 0, x, se 0 apple x<1, 1, se x 1. Quindi X n converge in legge a X. roviamo che non c è convergenza in probabilità. Osserviamo che la densità marginale f(x n,x) è f n (x n,x)= 1, se (xn,x) 2 Q 1, 0, altrimenti avendo indicato con Q 1 il quadrato unitario, Q 1 = {(x, y) :0apple x apple 1, 0 apple y apple 1}. Consideriamo l evento X n X > si ha ( X n X > )=(1 ) 2 cioè fissato la quantità ( X n X > ) rimane costante al crescere di n, quindi X n 9 X. Esercizio 1 Sia {X n U(0, 1/n),n 2 N} una successione di variabili aleatorie ( delta di Dirac), provare che X n converge sia in legge che in probabilità a X =0 G. Sanfilippo - Cd pag. 400

8 Convergenza in Media* 28 Dato un numero reale r>0, diciamo che X n tende a X in media r esima, e scriviamo m.r. X n! X. se E( X n X r )! 0. er r =2si parla di convergenza in media quadratica. Inoltre tale convergenza, poichè prende in considerazione i valori medi, richiede che essi siano finiti. Ricordiamo che la disuguaglianza di Cebicev (Markov). er r>0, > 0, si ha pertanto possiamo dimostrare che ( X > ) apple E( X r ) r, Teorema 2 infatti 28 Extra X n m.r.! X ) X n! X, 8, ( X n X > ) apple E( X n X r ) r! 0 G. Sanfilippo - Cd pag. 401

9 Esempio 5 Nell inferenza statistica classica (oltre alla correttezza) si dice che uno stimatore Y n è consistente se tende in probabilità alla grandezza da stimare. Se E(Y n )=, cioè lo stimatore è corretto, si ha quindi se la var(y n )! 0 segue che E((Y n ) 2 )=E((Y n E(Y n )) 2 )=var(y n ) Y n m.q.!. e per il Teorema 2 si ha cioè lo stimatore è consistente. Y n! ertanto la media campionaria X n (per variabili con momenti di ordine 2 finiti) è uno stimatore corretto e consistente della media. Convergenza Quasi certa* 29 Una successione di variabili aleatorie {X n (!)} rappresenta una successione di funzioni misurabili da (, F) in (R, B 1 ). er tale successione un usuale convergenza matematica è quella puntuale, cioè X n (!)! X, 8! 2 29 Extra G. Sanfilippo - Cd pag. 402

10 ovvero (se come distanza consideriamo quella euclidea) 8 >0, 9m : X n (!) X(!) < per n>m. Una convergenza del genere però è troppo forte per le variabili aleatorie, visto che siamo interessati allo studio delle probabilità. ertanto la convergenza sarà su ciente anche se non si realizza in alcuni punti, purchè questi formino un insieme di misura trascurabile. Definizione 3 (Convergenza quasi certa.) Data una successione di v.a. {X n } euna v.a. X, diremochex n converge quasi certamente a X se l evento X n (!)! X(!) è quasi certo, ovvero se (X n! X) = ({! 2 :X n (!)! X(!)}) =1 In tal caso si scrive X n q.c.! X, oppure che X n tende a X con probabilità 1. La convergenza q.c. di X n ad una v.a. X significa prendere in considerazione in una prova (ipotetica) i valori assunti dalle infinite v.a. X n e vedere se questi convergono al valore assunto dalla v.a. X: tale evento deve avere probabilità 1. Caratterizzazione della convergenza quasi certa, G. Sanfilippo - Cd pag. 403

11 Teorema 3 X n q.c.! X se e solo se 8 >0, lim n!1 ( 1\ r=n X r X < )=1 ertanto una definizione alternativa di convergenza quasi certa potrebbe essere la seguente. Definizione 4 Data una successione di v.a. {X n } e una v.a. X, diremo che X n converge quasi certamente a X se, fissati due numeri positivi,, è possibile determinare un intero n,, tale che per ogni n>n, risulti +1 [ X r X <. r=n Fissati, in altri termini, arbitrariamente e debbono risultare minori di, pern>n,, non solo le probabilità, X n X, che ciascuno singolarmente degli scarti sia non inferiore a (come richiesto dalla convergenza in probabilità), ma anche le probabilità che anche uno solo su tutti gli scarti X n X da n, in poi sia non inferiore a. Si dimostra il seguente Teorema 4 Se X n q.c.! X allora X n! X. G. Sanfilippo - Cd pag. 404

12 Il viceversa non vale. Si possono costruire alcuni controesempi. In definitiva la relazione che sussiste, solo in un verso, tra le verie convergenze, è la seguente.. X n q.c.! X ) X n! X ) Xn L! X G. Sanfilippo - Cd pag. 405