Compedio di calcolo delle probabilità Massimiliao Goldwurm Dispese per gli studeti del corso di laurea magistrale di Iformatica Uiversità degli Studi di Milao Ao accademico 2016-2017 Versioe prelimiare Queste ote hao lo scopo di riassumere le pricipali ozioi di calcolo delle probabilità che vegoo utilizzate ell ambito del corso di Metodi probabilistici per l Iformatica e alle quali si fa spesso riferimeto elle stesse dispese del corso. Il materiale cosiderato iclude argometi di base che vegoo solitamete presetati i modo più esaustivo ei corsi di Probabilità e Statistica impartiti ei corsi di laurea trieale di Iformatica. Alcui di questi argometi soo idispesabili per ua piea compresioe delle tematiche illustrate elle altre dispese del corso, altri soo stati ricordati per mateere u collegameto tra le varie proprietà e per dare u quadro completo e orgaico della materia. Tuttavia la loro presetazioe i questa sede è ecessariamete sitetica e o ha alcua pretesa di completezza. L efasi è posta sugli aspetti formali delle ozioi trattate metre i geerale le motivazioi e i coteuti ituitivi vegoo qui trascurati. Per brevità gra parte delle dimostrazioi è stata omessa, dado i qualche caso solo le idee pricipali delle prove; si rimada ai testi classici di calcolo delle probabilità ua trattazioe più completa.
Idice 1 Spazi di probabilità 3 2 Variabili aleatorie e fuzioi distribuzioe 5 3 Mometi 7 4 Esempi otevoli 9 4.1 Beroulliae....................................... 9 4.2 Biomiali........................................ 9 4.3 Geometriche....................................... 10 4.4 Poissoiae....................................... 10 4.5 Uiformi......................................... 11 4.6 Normali......................................... 12 4.7 Espoeziali....................................... 13 5 Distribuzioi codizioate 14 6 Disuguagliaze tradizioali 15 7 Variabili aleatorie multidimesioali 15 7.1 Variabili aleatorie idipedeti............................ 18 7.2 Matrici di covariaze.................................. 20 8 Covergeza stocastica e teoremi limite classici 22 8.1 Covergeza i probabilità e quasi ovuque..................... 22 8.2 Covergeza i distribuzioe............................. 24 9 Disuguagliaza di Cheroff 26 10 Teoremi limite locali 29 11 Il processo di Poisso 31 2
1 Spazi di probabilità Numerosi cocetti fodametali soo basati sulla ozioe di spazio di probabilità. Uo spazio di probabilità è ua tripla (Ω, M, P r) che gode delle segueti proprietà: 1. Ω è u isieme, detto spazio campioe, i cui elemeti soo chiamati puti campioe o eveti elemetari; 2. M è ua σ-algebra su Ω, ovvero ua famiglia di sottoisiemi di Ω tale che - Ω M, - per ogi A M il complemetare A c appartiee a M, - per ogi sequeza {A i } i N di elemeti di M, l uioe i N A i appartiee M. Gli elemeti di M soo chiamati eveti casuali o semplicemete eveti; 3. P r è ua misura di probabilità su M, ovvero ua fuzioe P r : M [0, 1] tale che - P r(ω) = 1, - per ogi sequeza {A i } i N di elemeti disgiuti di M P r( i N A i) = i N P r(a i) (additività umerabile). Possiamo facilmete costruire uo spazio di probabilità su u qualuque isieme fiito S. A tal fie, sia P(S) la famiglia di tutti i sottoisiemi di S e deotiamo co #A la cardialità di u qualuque A S. Defiiamo la fuzioe C : P(S) [0, 1] tale che C(A) = #A #S. È evidete che (S, P(S), C) è uo spazio di probabilità. Più i geerale, per ogi fuzioe p : S [0, 1] tale che a S p(a) = 1, possiamo defiire la misura di probabilità P che associa ad ogi A P(S) il valore P (A) = a A p(a). Si verifica facilmete che la tripla (S, P(S), P ) è uo spazio di probabilità. Varie altre proprietà possoo essere derivate dalle defiizioi precedeti. seguito solo le più semplici. Dato uo spazio di probabilità (Ω, M, P r) valgoo gli euciati segueti: per ogi A M, P r(a c ) = 1 P r(a); per ogi A, B M, se A B allora P r(a) P r(b); se {A 1, A 2,..., A } è u isieme fiito di elemeti di M disgiuti allora P r( i=1 A i) = i=1 P r(a i) (additività fiita). Elechiamo el Ioltre, data ua sequeza {A } N di eveti casuali, defiiamo il limite iferiore e il limite superiore di {A } N mediate le relazioi lim if A = + 1 k A k 3 lim sup + A = 1 A k. k
Etrambi tali limiti appartegoo a M. Il limite iferiore è l isieme degli elemeti ω Ω che appartegoo a tutti gli isiemi A, 1, trae al più ad u umero fiito di questi; il limite superiore è ivece l isieme di tutti gli ω Ω che appartegoo a ifiiti isiemi A, 1. Lo loro probabilità è data da P r(lim if A ) = lim P r( A k ) + + k P r(lim sup A ) = lim P r( A k ) + + k Si dice ache che {A } N coverge a u isieme A e scriviamo lim + A = A, se i due limiti iferiore e superiore coicidoo e il loro valore è proprio A. I questo caso A M e P r(a) = lim + P r(a ). Ogi successioe {A } N M mootoa è covergete e ioltre lim + A = 1 A se la sequeza è o decrescete, metre lim + A = 1 A se la sequeza è o crescete. U altra ozioe fodametale è quella di idipedeza. Dato uo spazio di probabilità (Ω, M, P r), due eveti casuali A, B ( M) si dicoo idipedeti se P r(a B) = P r(a)p r(b). Ituitivamete, due eveti soo idipedeti se l occorreza di uo dei due o ifluisce sulla probabilità di occorreza dell altro. Più i geerale, ua famiglia qualsiasi di eveti casuali {A j } j I si dice idipedete se, per ogi sottoisieme fiito di idici S I, P r( j S A j ) = j S P r(a j ) Fissato uo spazio di probabilità (Ω, M, P r) e dati due eveti A, B M, co P r(b) > 0, si defiisce probabilità codizioata di A rispetto a B il valore P r(a B) = P r(a B) P r(b) Esso ituitivamete rappreseta la probabilità di A dato che si è verificato l eveto B. Nota che la tripla (Ω, M, P r B ), dove P r B (A) = P r(a B) per ogi A M, è uo spazio di probabilità. Se ivece P r(b) = 0 si poe per covezioe P r(a B) = 0. Chiaramete, se A e B soo idipedeti allora P r(a B) = P r(a) e P r(b A) = P r(b). Ioltre, le segueti proprietà possoo essere facilmete dimostrate a partire dalle defiizioi e soo spesso utilizzate per calcolare la probabilità di u eveto casuale: data ua famiglia fiita di eveti A 1, A 2,..., A M tali che P r( i A i) > 0, vale la relazioe P r( i=1 A i) = P r(a 1 ) P r(a 2 A 1 ) P r(a 3 A 1 A 2 ) P r(a A 1 A 1 ); se ua famiglia fiita o umerabilmete ifiita di eveti {A j } j I M forma ua partizioe di Ω allora, per ogi B M, vale P r(b) = j I P r(b A j) e quidi P r(b) = j I P r(b A j )P r(a j ) (1) dove I è il sottoisieme di I degli idici j tali che P r(a j ) > 0. 4
2 Variabili aleatorie e fuzioi distribuzioe Ua variabile aleatoria (v.a.) su uo spazio di probabilità (Ω, M, P r) è ua fuzioe X : Ω R tale che, per ogi a R, l isieme {ω Ω X(ω) a} appartiee a M. Nota che i tale defiizioe X dipede da Ω e da M ma o dalla misura di probabilità P r. Osserviamo che ogi variabile aleatoria iduce uo spazio di probabilità sulla retta reale. Per verificare questa proprietà, deotiamo co B la più piccola σ-algebra i R coteete tutti gli itervalli di umeri reali. Ricordiamo che gli elemeti di B soo chiamati isiemi di Borel; ota che B cotiee tutti gli isiemi che si ottegoo come uioe o itersezioe fiita o (umerabilmete) ifiita di itervalli reali. Sia ora X ua variabile aleatoria defiita su uo spazio di probabilità (Ω, M, P r). Si può dimostrare che per ogi A B l isieme X 1 (A) = {ω Ω X(ω) A} appartiee a M. Di cosegueza possiamo defiire la fuzioe P X : B [0, 1] tale che P X (A) = P r(x 1 (A)) per ogi A B; così si verifica facilmete che (R, B, P X ) è uo spazio di probabilità. Ua ozioe aturale i questo cotesto è quella di fuzioe misurabile. Ua fuzioe f : R R è detta misurabile se, per ogi x R, f 1 ((, x]) è u isieme di Borel (e quidi f 1 (A) B per ogi A B). Ne segue che se X è ua variabile aleatoria e f : R R è ua fuzioe misurabile, allora ache f(x) è ua variabile aleatoria. La ozioe di isiemi di Borel e di fuzioe misurabile si estedoo facilmete agli spazi multidimesioali R per qualuque itero positivo. Per semplificare la otazioe si è soliti rappresetare gli isiemi che soo cotroimmagie di variabili aleatorie seza deotare esplicitamete i puti campioe ω Ω. Così per esempio, dati ua variabile aleatoria X su (Ω, M, P r), u puto a R e u sottoisieme A R, gli isiemi {ω Ω X(ω a} e {ω Ω X(ω) A} soo deotati rispettivamete dalle espressioi {X a} e {X A}, metre le loro probabilità soo espresse da P r(x a) e P r(x A). La fuzioe distribuzioe di ua variabile aleatoria X su (Ω, M, P r) è defiita come la fuzioe F X : R [0, 1], tale che F X (a) = P r(x a) per ogi a R È facile verificare che ogi fuzioe distribuzioe F X verifica le segueti proprietà : 1. F X è mootoa o decrescete i R; 2. F X è cotiua dalla destra i ogi puto di R ovvero, per ogi a R, 3. lim a F X (a) = 0 e lim a + F X (a) = 1 ; lim F X(a + h) = F X (a) 0<h 0 4. per ogi a < b vale P r(a < X b) = F X (b) F X (a). 5
Si può ache dimostrare che ogi fuzioe F : R [0, 1] che verifica le proprietà 1), 2) e 3) precedeti, è la fuzioe distribuzioe di qualche variabile aleatoria. Ua variabile aleatoria X su (Ω, M, P r) si dice discreta se l isieme dei suoi valori X(Ω) è fiito o ifiitamete umerabile. I questo caso, posto X(Ω) = {a 1, a 2,...}, possiamo defiire la fuzioe p X : {a 1, a 2,...} [0, 1] tale che p X (a i ) = P r(x = a i ) per ogi a i X(Ω). Otteiamo così P r(x A) = a i A p X(a i ) per ogi A X(Ω). La fuzioe p X è chiamata fuzioe probabilità di X. Si verifica facilmete che, per ogi idice i F X (a i ) = p X (a j ), metre p X (a j ) = lim (F X(a j ) F X (a j h)) 0<h 0 j:a j a i permettedo così di calcolare F X cooscedo i valori di p X e viceversa. Come esempi di v.a. discreta, elle sezioi 4.1, 4.2 4.3 e 4.4 ricordiamo le defiizioi delle variabili Beroulliae, biomiali, geometriche e Poissoiae. Se X si cocetra i u solo puto, ovvero X(Ω) = {a} per qualche a R, diremo che X è ua v.a. degeere. Ivece, ua variabile aleatoria X su (Ω, M, P r) si dice cotiua se esiste ua fuzioe f X : R R tale che 1. f X (t) 0 per ogi t R; 2. F X (a) = a f X(t)dt per ogi a R. La fuzioe f X è detta fuzioe desità di X e i suoi valori coicidoo co quelli della derivata di F X quado quest ultima è defiita. La fuzioe desità f X è chiaramete itegrabile i tutto R e per ogi a < b vale l uguagliaza b a f X (t)dt = P r(a < X < b) Nelle sezioi 4.5, 4.6 e 4.7 ricordiamo le defiizioi delle variabili uiformi, ormali ed espoeziali come esempi di v.a. cotiue. Osserviamo ioltre che se X è ua variabile aleatoria cotiua, allora P r(x = a) = 0 per ogi a R; ivece f X (a)dt rappreseta la probabilità che X cada i u itervallo di cetro a e ampiezza ifiitesima dt (a meo di ifiitesimi di ordie superiore). Vale la pea ribadire che la fuzioe distribuzioe F X di ua geerica v.a. X dipede dalla probabilità co la quale X assume i suoi valori, ma o caratterizza la X come fuzioe da Ω i R. I altre parole, variabili aleatorie diverse possoo avere la stessa fuzioe distribuzioe. Per esempio, cosidera la variabile X che assume i valori 1 e 1 co ugual probabilità 1/2 e defiisci Y = X. Nota che le variabili X e Y soo diverse, azi esse soo totalmete diverse el seso che X(ω) Y (ω) per ogi ω Ω. Noostate questo le loro fuzioi distribuzioe soo idetiche ovvero, per ogi a R, 0 se a < 1 F X (a) = F Y (a) = 1/2 se 1 a < 1 1 se 1 a 6
3 Mometi Sia g : R R ua fuzioe misurabile e sia X ua variabile aleatoria discreta tale che X(Ω) = {a 1, a 2,...}. Chiamiamo allora valor medio di g(x) il valore E[g(X)] = i g(a i )p X (a i ) assumedo che la serie sia assolutamete covergete (ovvero che i g(a i) p X (a i ) < + ). Se tale serie o coverge assolutamete diremo che E[g(X)] o è defiito. Aalogamete, se X è ua variabile aleatoria cotiua, defiiamo il valor medio di g(x) mediate l uguagliaza E[g(X)] = + g(t)f X (t)dt, assumedo che la fuzioe g(t)f X (t) sia assolutamete itegrabile i (, + ), altrimeti diremo ache i questo caso che E[g(X)] o è defiito. È facile costatare che l operatore E è lieare e quidi valgoo le segueti relazioi elle quali c, c 1 e c 2 soo costati metre g, g 1 e g 2 soo fuzioi misurabili: 1. E[c] = c, 2. E[cg(X)] = ce[g(x)], 3. E[c 1 g 1 (X) + c 2 g 2 (X)] = c 1 E[g 1 (X)] + c 2 E[g 2 (X)], 4. E[g 1 (X)] E[g 2 (X)] se g 1 (x) g 2 (x) per ogi x R. I particolare, se g è la fuzioe idetità, otteiamo il valor medio, o semplicemete la media, della variabile aleatoria X: E[X] = i a i p X (a i ) oppure E[X] = + tf X (t)dt. Osserviamo che, se X è ua variabile aleatoria discreta e assume valori i N, allora E[X] = k 1 P r(x k) Come esempi riportiamo ella sezioe 4 i valori medi delle variabili aleatorie discrete e cotiue che abbiamo citato i precedeza. Chiaramete si può defiire il valor medio E[g(X)] ache per le variabili aleatorie che o soo discrete é cotiue; questo vale ad esempio per quelle X che assumoo u valore particolare a co probabilità 1/2 e distribuiscoo la probabilità rimaete i modo uiforme i u itervallo che o cotiee a. Tuttavia per defiire i mometi i questo caso più geerale occorre itrodurre la ozioe di itegrale di Stieltjes la cui trattazioe esula dagli scopi di questo lavoro. Occorre ioltre segalare che la defiizioe di E o dipede dalla rappresetazioe della variabile aleatoria cosiderata. Più precisamete, data ua v.a. X e ua fuzioe misurabile g : R R, se defiiamo la uova v.a. Y = g(x) allora E[Y ] = E[g(X)]. Questa uguagliaza è di verifica immediata el caso discreto. Nel caso cotiuo, co g derivabile ovuque, essa è ua 7
cosegueza delle proprietà di derivazioe delle fuzioi iverse. Nel caso geerale ivece essa deriva dalle proprietà degli itegrali di Stieltjes. Ifie ricordiamo che la media di ua variabile aleatoria o è sempre defiita. Nel caso discreto questo accade quado la serie che defiisce il valor medio o è covergete, i quello cotiuo quado l itegrale relativo o esiste. Per esempio, se defiiamo Y = 2 Xp, dove X p è ua variabile aleatoria geometrica di parametro p (0 < p < 1), allora abbiamo E[Y ] = E[2 Xp ] = 1 2 q 1 p = 2p 0 (2q) Quest ultima serie è covergete solo el caso 1/2 < p < 1; quidi, per ogi 0 < p 1/2 la variabile aleatoria Y o ammette valor medio. Per ogi itero r > 0, la quatità E[X r ] è chiamata mometo r-esimo di X; el caso discreto e cotiuo abbiamo rispettivamete E[X r ] = i a r i p X (a i ) oppure E[X r ] = + t r f X (t)dt. Ivece il valore E[(X E[X]) r ] è detto mometo cetrale r-esimo di X. Di particolare importaza è il mometo cetrale secodo, chiamato variaza di X e deotato var(x), metre var(x) è lo scarto quadratico medio. La variaza rappreseta ituitivamete ua misura della dispersioe di X itoro al suo valor medio; essa rimae ivariata traslado la variabile, ovvero var(x) = var(x + c) per ogi costate c. Viee ivece amplificata mediate ua omotetia, i altre parole var(cx) = c 2 var(x). Il calcolo della variaza si esegue solitamete utilizzado la seguete uguagliaza di facile verifica var(x) = E[(X E[X]) 2 ] = E[X 2 ] (E[X]) 2 Più i geerale è sempre possibile ricavare i mometi cetrali di ua variabile aleatoria dai suoi mometi semplici: r ( ) r E[(X E[X]) r ] = E[X i ]( E[X]) r i i i=0 L operatore E permette ioltre di defiire la fuzioe geeratrice dei mometi m X (t) di ua variabile aleatoria X. Essa è defiita come la fuzioe che associa ad u umero reale t il valore e ta p X (a) se X e discreta m X (t) = E[e tx a X(Ω) ] = + e ty f X (y)dy se X e cotiua Chiaramete m X (0) = 1 e possiamo dire che la fuzioe m X (t) esiste se essa è be defiita i u itervallo aperto o vuoto che iclude 0. I questo caso si verifica che m X (t) è differeziabile co cotiuità i u itoro di 0 e, per ogi itero positivo r, la sua derivata r-esima valutata i 0 coicide co il mometo r-esimo di X: d r dt r m X(t) = E[X r ] t=0 8
Quidi, se esiste, la fuzioe m X (t) è sviluppabile i serie di poteze co cetro i 0 e possiamo scrivere + E[X r ] m X (t) = t r r! r=0 È importate osservare che la fuzioe m X (t) caratterizza iteramete la fuzioe distribuzioe di X. I altre parole, se due variabili aleatorie hao la stessa fuzioe geeratrice dei mometi e questa è be defiita i u itoro aperto di 0, allora hao la stessa fuzioe distribuzioe; viceversa, è chiaro che se due variabili aleatorie hao la stessa fuzioe distribuzioe e possiedoo fuzioe geeratrice dei mometi, quest ultima deve essere la stessa. 4 Esempi otevoli Presetiamo di seguito tre esempi di variabili aleatorie discrete e altrettati di variabili aleatorie cotiue. Per brevità, d ora i poi deoteremo co N + l isieme degli iteri maggiori di 0. 4.1 Beroulliae Dato u valore p (0, 1) e posto q = 1 p, diciamo che ua variabile aleatoria X è ua Beroulliaa di parametro p se X può assumere solo i valori 0 e 1 e le loro probabilità soo le segueti: P r(x = 1) = p, P r(x = 0) = q È ioltre facile verificare le segueti proprietà : 4.2 Biomiali E[X] = p var(x) = pq m X (t) = (q + pe t ) Dati i valori p (0, 1) e N +, ua variabile aleatoria biomiale di parametri e p è ua variabile che rappreseta il umero di successi i ua sequeza di prove Beroulliae idipedeti, dove ogi prova ha probabilità di successo p e probabilità di isuccesso q = 1 p. Rappreseteremo tale variabile mediate l espressioe X p. Chiaramete i possibili valori di X p soo {0, 1,..., }; ioltre è facile provare che la sua fuzioe probabilità è data da ( ) p Xp (k) = p k q k, per ogi k = 0, 1,...,. k Le sue proprietà fodametali soo: ( ) E[X p ] = kp k q k = p k k=1 k=1 var(x p ) = E[X 2 p] (E[X p ]) 2 = m Xp (t) = k=0 1! k 1! k! pk 1 q k = p(p + q) 1 = p ( ) k 2 p k q k (p) 2 = pq k k=0 ( ) e tk p k q k = (q + pe t ) k 9
4.3 Geometriche U altro esempio è costituito dalla variabile aleatoria geometrica X p di parametro p, 0 < p 1. Essa è defiita come il umero di prove ecessarie per otteere il primo successo i ua sequeza illimitata di prove Beroulliae idipedeti, dove p rappreseta di uovo la probabilità di successo. I questo caso, l isieme dei valori di X p è quello degli iteri positivi N +, metre la sua fuzioe di probabilità è defiita da Ioltre i suoi valori medi risultao i segueti: 4.4 Poissoiae p Xp (k) = q k 1 p per ogi k N + E[X p ] = p 1 var(x p ) = qp 2 m Xp (t) = pet 1 qe t Dato u valore λ > 0, ua variabile aleatoria Poissoiaa di parametro λ è ua v.a. X che assume valori i N tale che, per ogi k N, P r(x = k) = e λ λ k Si dimostra che i suoi mometi rilevati soo i segueti: E[X] = λ var(x) = λ k! m X (t) = e λ(et 1) Ituitivamete, le variabili Poissoiae soo tradizioalmete utilizzate per rappresetare i molti ambiti aturali il umero di occorreze di u eveto casuale (che i ogi istate può verificarsi o meo) i u certo arco di tempo, suppoedo ua geerale idipedeza dei feomei e u ipotesi di uiformità ella loro collocazioe el tempo. Esempi di Poissoiae potrebbero essere il umero dei segueti eveti verificatisi i u dato lasso di tempo: le chiamate telefoiche i u certo distretto, gli icideti gravi i ua data area geografica, le collisioi co meteoriti di u satellite i orbita, il umero di difetti o di guasti di dispositivi elettroici o meccaici. Queste variabili giocao u ruolo determiate ei processi stocastici di Poisso. Tra le sue proprietà ricordiamo ache: 1. se X è ua Poissoiaa di parametro λ itero, allora P r(x = λ) = P r(x = λ 1) 2. ogi Poissoiaa X è uimodale itoro al suo valor medio, ovvero P r(x = k 1) < P r(x = k) per ogi itero positivo k < λ P r(x = k 1) > P r(x = k) per ogi itero positivo k > λ; 10
3. data ua costate λ > 0, la distribuzioe delle biomiali del tipo {X, λ } N coverge, per +, alla distribuzioe di ua Poissoiaa di parametro λ. Più precisamete, per ogi k N, abbiamo lim + P r(x, λ = k) = e λ λ k k! La dimostrazioe dell ultima proprietà deriva dalla seguete catea di uguagliaze lim + P r(x, λ = k) = ( k = λk k! ) ( λ ) k ( 1 λ ) k = ( 1) ( k + 1) k λk k! e λ ( 1 ) λ ( 1 λ ) k ifatti, ella secoda riga il secodo e il quarto fattore covergoo a 1 metre per il terzo si applica il oto limite otevole. L iterpretazioe aturale di questo risultato è la seguete. Eseguiamo prove Beroulliae idipedeti co probabilità di successo λ/, i u itervallo di tempo fissato T, co λ > 0 costate, e facciamo crescere a +. Questo sigifica che ifittiamo il umero di prove riducedo cotemporaeamete la probabilità di successo, i modo tale che il umero medio di successi (λ) rimaga ialterato. Allora la distribuzioe del umero totale di successi coverge alla distribuzioe di ua Poissoiaa di parametro λ. 4.5 Uiformi Dati due valori a, b R tali che a < b, ua variabile aleatoria X è uiforme sull itervallo [a, b] se X è cotiua e la sua fuzioe desità è defiita da { 0 se t < a oppure t > b f X (t) = se a x b La sua fuzioe distribuzioe è quidi 1 b a 0 se x < a x a F X (x) = b a se a x b 1 se x > b Nota che F X è cotiua su tutto R ed è derivabile ovuque trae ei puti a e b. Le sue pricipali caratteristiche umeriche soo le segueti: E[X] = b + a 2 var(x) = (b a)2 12 m X (t) = ebt e at (b a)t 11
4.6 Normali U altro esempio classico è quello della variabile aleatoria ormale (o Gaussiaa): fissati due valori µ, σ R, dove σ > 0, ua v.a. X è ua ormale µ, σ (i simboli X N(µ, σ)) se X è cotiua e la sua fuzioe desità è data da f X (t) = 1 2πσ e (t µ)2 2σ 2, < t < + Verificare che tale fuzioe sia effettivamete ua desità o è immediato come ei casi precedeti, poiché essa o possiede ua primitiva esprimibile i modo esplicito. Per questo motivo e diamo qui ua prova diretta. Proposizioe 1 La fuzioe f X (t) defiita sopra è ua fuzioe desità. Dimostrazioe. Poiché f X (t) è positiva e itegrabile i (, + ), è sufficiete provare che + f X (t)dt = 1 A tale scopo dimostriamo che ( + f X (t)dt) 2 = 1 L espressioe di siistra si può scrivere come u itegrale i R 2, ella forma + + f X (x)f X (y)dxdy = 1 2πσ 2 exp R 2 dy dρ dy dθ ( (x µ)2 + (y µ) 2 2σ 2 ) dxdy Passiamo ora alle coordiate polari sul piao: poedo x = µ + ρ cos θ, y = µ + ρ si θ e ricordado che lo Jacobiao della trasformazioe è [ ] dx dx [ ] dρ dθ cos θ ρ si θ det = det = ρ si θ ρ cos θ l itegrale precedete diveta 1 2π 2πσ 2 0 + 0 ) exp ( ρ2 2σ 2 ρdρdθ ( ( ) Ora, la fuzioe exp )ρ ρ2 rispetto alla variabile ρ ammette la primitiva σ 2 exp ρ2 2σ 2 2σ 2 che valutata tra gli estremi + e 0 forisce il valore σ 2. L espressioe precedete risulta allora uguale a 1 2π 2πσ 2 σ 2 dθ = 1 0 e la proposizioe è così dimostrata. 12
La fuzioe distribuzioe di ua v.a. X N(µ, σ 2 ) è chiaramete data da F X (x) = 1 2πσ x e (t µ)2 2σ 2 dt Le sue caratteristiche umeriche si ottegoo i modo aalogo e risultao le segueti: E[X] = µ var(x) = σ 2 m X (t) = exp (µt + σ2 t 2 ) 2 Nel caso i cui µ = 0 e σ = 1 si dice che X è ua ormale stadard. Tali variabili aleatorie devoo la loro importaza al teorema del limite cetrale che ricordiamo ella sezioe 8.2 e alle sue umerose applicazioi. 4.7 Espoeziali Dato u valore λ > 0, ua variabile aleatoria X è ua espoeziale di parametro λ se X è cotiua e la sua desità è defiita da { 0 se t < 0 f X (t) = λe λt se t 0 Di cosegueza la distribuzioe è data da { 0 se x 0 F X (x) = 1 e λx se x > 0 Le sue pricipali caratteristiche umeriche soo le segueti: E[X] = 1 λ var(x) = 1 λ 2 m X (t) = λ λ t Tali v.a. godoo della seguete proprietà che e giustifica l utilizzo come modello per lo studio di tempi di attesa di certi eveti casuali e la cui dimostrazioe è ua immediata cosegueza delle defiizioi. Proposizioe 2 Se X è ua variabile aleatoria espoeziale allora, per ogi a, b > 0, P r(x > a + b X > a) = P r(x > b) Questo sigifica ituitivamete che X è priva di memoria, ovvero se essa rappreseta il tempo di attesa di u u eveto casuale, allora la probabilità di u attesa superiore a b, ua volta atteso lo stesso eveto per u tempo a, è la stessa che si avrebbe all iizio del processo. 13
5 Distribuzioi codizioate Osserviamo che la fuzioe distribuzioe di ua variabile aleatoria dipede strettamete dalla misura di probabilità cosiderata. Più precisamete, data ua variabile aleatoria X defiita su uo spazio (Ω, M, P r), ua modifica della misura P r iduce geeralmete u cambiameto dei valori di F X, ache se la famiglia di isiemi M e la stessa variabile X (itesa come fuzioe da Ω i R) rimagoo ialterate. Formalmete quidi ua variabile aleatoria ammette fuzioi distribuzioi diverse a secoda della misura di probabilità cosiderata. I alcui casi è ecessario tuttavia evitare questa ambiguità e occorre legare ua variabile aleatoria alla misura di probabilità usata. U esempio di questa situazioe occorre ella defiizioe di fuzioe distribuzioe codizioata. Data ua variabile aleatoria X su (Ω, M, P r) e u eveto B M tale che P r(b) > 0, deotiamo co X B la stessa variabile X defiita però sullo spazio (Ω, M, P r B ), dove P r B è la misura di probabilità codizioata defiita ella sezioe 1. Nota che i valori di X B soo gli stessi di X, ovvero per ogi ω Ω vale X B (ω) = X(ω). Allora, per ogi a R, abbiamo F XB (a) = P r B (X a) = P r(x a B) = P r( (X a) B ) P r(b) Se X è ua variabile aleatoria discreta co fuzioe probabilità p X, allora la corrispodete fuzioe di X B è data da { px (a) p XB (a) = P r(b) se a X(B) 0 altrimeti Se ivece X è cotiua co fuzioe desità f X, allora si dimostra facilmete che per ogi t R f XB (t) = { fx (t) P r(b) Di cosegueza otteiamo il valor medio di X B : a p X(a) P r(b) E(X B ) = a X(B) t f X(t) P r(b) dt X(B) se t X(B) 0 altrimeti se X e discreta se X e cotiua Il valore E(X B ) viee spesso deotato ella forma E(X B) ed è chiamato valor medio di X codizioato a B. Queste ozioi cosetoo di esprimere il valor medio di ua variabile aleatoria usado i valori medi codizioati agli eveti di ua partizioe dello spazio campioe. Ifatti, si può facilmete dimostrare che se {A i } i I è ua partizioe fiita di Ω, A i M e P r(a i ) > 0 per ogi i I, allora il valor medio di ua qualsiasi variabile aleatoria X su (Ω, M, P r) soddisfa u uguagliaza aaloga a quella delle probabilità totali (1): E(X) = i I E(X A i )P r(a i ) Ua classica applicazioe dell equazioe precedete riguarda la valutazioe del tempo medio di calcolo dell algoritmo Quicksort su ua istaza S di elemeti, dove A i rappreseta l eveto per il quale il pivot scelto dalla procedura è l i-esimo elemeto più piccolo di S. 14
6 Disuguagliaze tradizioali Ricordiamo due classiche disuguagliaze, basate su valor medio e variaza, che cosetoo di stimare le probabilità dei valori di u variabile aleatoria. La prima è quella di Markov, valida per le variabili positive: se Y è ua v.a. che assume solo valori i R + = {x R x 0} e possiede valor medio fiito allora, per ogi a > 0, abbiamo P r(y a) E[Y ] a La sua dimostrazioe è piuttosto semplice: se Y è cotiua allora (2) P r(y a) = + a f Y (t)dt + a t a f Y (t)dt E[Y ] a U ragioameto aalogo vale el caso discreto. La secoda disuguagliaza è quella di Chebyshev, che cosete di valutare la probabilità che la distaza di ua v.a. dal suo valor medio sia maggiore di ua data quatità. Più precisamete, se X è ua variabile aleatoria che ammette variaza fiita allora, per ogi a > 0, abbiamo P r( X E[X] a) var(x) a 2 (3) La sua dimostrazioe è ua cosegueza della disuguagliaza precedete. Ifatti, l eveto X E[X] a implica (X E[X]) 2 a 2 e ioltre (X E[X]) 2 ua v.a. a valori o egativi, per cui applicado la (2), otteiamo P r( X E[X] a) P r((x E[X]) 2 a 2 ) E[(X E[X])2 ] a 2 = var(x) a 2 7 Variabili aleatorie multidimesioali I questa sezioe ricordiamo brevemete le proprietà esseziali delle variabili aleatorie multidimesioali. A tale scopo, fissato N deotiamo co R l isieme delle -ple di umeri reali, che chiameremo ache vettori di dimesioe a coefficieti i R; usiamo ioltre u simbolo sottolieato x per deotare ua geerica -pla di elemeti (x 1, x 2,..., x ). Dato uo spazio di probabilità (Ω, M, P r) sul quale soo defiite variabili aleatorie X 1, X 2,..., X chiamiamo variabile aleatoria -dimesioale il vettore X = (X 1, X 2,..., X ) Nota che per ogi t = (t 1, t 2,..., t ) R, l eveto (X 1 t 1, X 2 t 2,..., X t ) = {ω Ω : X i (ω) t i } appartiee a M e quidi possiamo defiire la fuzioe distribuzioe di X i=1 F X : R [0, 1] 15
tale che F X (t) = P r(x 1 t 1, X 2 t 2,..., X t ) Tale fuzioe è ache chiamata fuzioe distribuzioe cogiuta delle X 1, X 2,..., X. Essa gode ioltre delle segueti proprietà che si ottegoo direttamete dalla defiizioe: 1. F X (t) è fuzioe o decrescete i ogi t i, i = 1, 2,..., ; 2. F X (t) è cotiua da destra i ogi variabile t i, i = 1, 2,..., ; 3. usado le espressioi del tipo F X (t 1,..., t i 1, +, t i+1,..., t ) per deotare valgoo le relazioi lim F X(t 1,..., t i 1, x, t i+1,..., t ), x + F X (+, +,..., + ) = 1 lim F X(t 1, t 2,..., t ) = 0, per ogi i = 1, 2,...,, t i assumedo valori reali arbitrari per i restati argometi; 4. la probabilità di cadere i u qualuque parallelepipedo di R si può esprimere attraverso la F X e o è mai egativa. Più precisamete, per ogi a, b R tale che a i < b i (i = 1, 2,..., ), vale la relazioe P r(a i < X i b i, i = 1,..., ) = F X (b) F X (b (i) ) + F X (b (ij) ) + F X (a) 0 i=1 dove b (i) = (b 1,..., a i, b i+1,..., b ), b (ij) = (b 1,..., a i,..., a j,..., b ),... Si può dimostrare che le proprietà sopra euciate caratterizzao le fuzioi distribuzioe di v.a. -dimesioali. Proposizioe 3 Ua fuzioe F : R R, co 2, è ua fuzioe distribuzioe di ua -pla di v.a. aleatorie se e solo se essa soddisfa le proprietà 1, 2, 3, e 4 appea defiite. È bee ricordare che la codizioe 4 è idispesabile affiché ua fuzioe sia distribuzioe multidimesioale (metre la stessa cosa o è vera el caso moodimesioale). Per esempio, el caso = 2, la fuzioe { 0 se x < 0 oppure y < 0 oppure x + y < 1 F (x, y) = 1 altrimeti soddisfa le prime tre proprietà ma o la quarta; ifatti, posto a = (0, 0) e b = (2, 2), abbiamo P r(0 < x 2, 0 < y 2) = F (2, 2) F (0, 2) F (2, 0) + F (0, 0) = 1 Essa o può quidi rappresetare ua fuzioe distribuzioe. i<j 16
Osserviamo ioltre che per ogi i = 1, 2,...,, F X (t 1,..., t i 1, +, t i+1,..., t ) = P r(x j t j, j i) e che la fuzioe distribuzioe di X i si ricava passado al limite sulle altre variabili, ovvero F X1 (x) = F X (x, +,..., + ), F X2 (x) = F X (+, x, +,..., + ),...,..., F X (x) = F X (+,..., +, x), Ua v.a. -dimesioale X si dice discreta se assume u umero fiito o ua ifiità umerabile di valori i R ; i questo caso possiamo defiire la fuzioe probabilità p X : X(Ω) [0, 1], tale che p X (a) = P r(x = a) per ogi a X(Ω). Chiaramete vale F X (t) = p X (a) a X(Ω):a i t i i La stessa variabile X si dice ivece cotiua se esiste ua fuzioe f : R R, itegrabile i ogi regioe {t R t i x i, i = 1, 2,..., } per ciascu x R, tale che F X (x) = x1 x f(t 1,..., t )dt 1 dt Ache i questo caso la fuzioe f è chiamata desità della variabile aleatoria X. Esempi classici soo quelli delle variabili multiomiali, uiformi o multiormali. 1. Cosideriamo u esperimeto s che può restituire risultati diversi, ciascuo co probabilità p 1, p 2,..., p, dove p i 0 per ogi i e i=1 p i = 1. Suppoiamo di eseguire k prove idipedeti di s e cosideriamo la variabile aleatoria X = (X 1,..., X ) tale che ogi X i rappreseta il umero di prove che hao forito l i-esimo risultato. Chiaramete X è ua variabile aleatoria discreta e per ogi -pla (i 1,..., i ) di iteri o egativi tali che j=1 i j = k, abbiamo P r(x = (i 1,..., i )) = k! j=1 i j! pi 1 1 p i 2 2 p i Tale variabile è chiamata multiomiale di parametri k, p 1, p 2,..., p. 2. Data ua coppia di valori a, b R tale che a i < b i (i = 1, 2,..., ), defiiamo la fuzioe u : R R tale che, per ogi t R, 0 se t i a i per qualche i u(t) = 0 se t i > b i per qualche i altrimeti i=1 1 b i a i Tale fuzioe è la desità di ua variabile aleatoria uiforme sul parallelepipedo -dimesioale {t R a i < t i b i, i = 1,..., }. 3. Più i geerale la distribuzioe uiforme su u isieme di Borel G R di volume V è defiita dalla fuzioe { 1/V se t G g(t) = 0 altrimeti 17
4. Ua ormale bidimesioale è ua variabile X = (X 1, X 2 ) cotiua di desità { ( )} exp 1 (t1 µ 1 ) 2 2r (t 1 µ 1 ) (t 2 µ 2 ) 2(1 r f X (t 1, t 2 ) = 2 ) σ1 2 σ 1 σ 2 + (t 2 µ 2 ) 2 σ2 2 2πσ 1 σ 2 1 r 2 dove µ 1, µ 2 R, σ 1 e σ 2 soo reali positivi e 1 < r < 1. Chiaramete µ i e σ i soo la media e la variaza di X i, i = 1, 2, metre r è chiamato coefficiete di correlazioe. Dalla forma dell espressioe risulta evidete che f X assume valore costate su ogi ellisse di equazioe (t 1 µ 1 ) 2 σ1 2 2r (t 1 µ 1 ) (t 2 µ 2 ) + (t 2 µ 2 ) 2 σ 1 σ 2 σ2 2 = c co c > 0: i questo modo possiamo facilmete immagiare la forma a campaa della relativa superficie ello spazio tridimesioale. Tale distribuzioe è utile per studiare molti feomei che si verificao el piao; per esempio è oto sperimetalmete che i puti el piao cetrati dai colpi sparati da u obice mateuto ad alzo fisso, obbediscoo ad ua legge di questo tipo. 7.1 Variabili aleatorie idipedeti Diciamo che variabili aleatorie X 1, X 2..., X, defiite sullo stesso spazio di probabilità, soo idipedeti se la distribuzioe F X della variabile multidimesioale X = (X 1, X 2..., X ) è il prodotto delle fuzioi distribuzioe F X1, F X2,..., F X, ovvero F X (x) = F X1 (x 1 )F X2 (x 2 ) F X (x ) x = (x 1,..., x ) R Si dimostra facilmete che se la fuzioe distribuzioe di ua v.a. multidimesioale X = (X 1,..., X ) è il prodotto di fuzioi o egative G 1,..., G tali che lim x + G i (x) = 1 per ogi i, allora le X 1,..., X soo idipedeti e ciascua G i è la fuzioe distribuzioe di X i. Ioltre variabili aleatorie cotiue X 1,..., X soo idipedeti se e solo se la fuzioe desità cogiuta f X è il prodotto delle fuzioi desità f X1,..., f X. Ua proprietà aaloga vale per la fuzioe probabilità cogiuta di v.a. discrete idipedeti. Per esempio, la fuzioe desità cogiuta di ormali idipedeti X 1,..., X, ciascua di parametri µ i e σi 2, è data da { } f X (t 1, t 2,..., t ) = (2π) /2 exp 1 (t i µ i ) 2 σ 1 σ 2 σ 2 Nota che el caso = 2 si ottiee la ormale bidimesioale co coefficiete di correlazioe r = 0. Date v.a. cotiue X 1,..., X che formao ua v.a. multidimesioale X e ua fuzioe misurabile g : R R, la fuzioe Y = g(x 1,..., X ) è a sua volta ua variabile aleatoria e la sua distribuzioe è data da F Y (y) = f X (t 1,..., t )dt 1 dt D y 18 i=1 σ 2 i
dove D y = {t R g(t) y}. Ua defiizioe simile è valida el caso discreto. Possiamo defiire il valor medio di g(x 1,..., X ) mediate le espressioi el caso discreto, e E[g(X 1,..., X )] = E[g(X 1,..., X )] = + a X(Ω) + g(a)p X (a) g(t)f X (t)dt 1 dt el caso cotiuo. Ache i questo caso si prova che la defiizioe è be posta, ovvero E[Y ] = E[g(X 1,..., X )] Ioltre, se X e Y soo due variabili aleatorie moodimesioali defiite sullo stesso spazio di probabilità,, la loro covariaza cov(x, Y ) è defiita mediate la relazioe cov(x, Y ) = E[(X µ X )(Y µ Y )] dove µ X e µ Y soo la media di X e Y, rispettivamete. Aalogamete si chiama coefficiete di correlazioe di X e Y il valore r X,Y = cov(x, Y ) σ X σ Y dove σx 2 e σ2 Y soo la variaza di X e Y, rispettivamete. La covariaza e il coefficiete di correlazioe rappresetao ituitivamete ua misura della relazioe di dipedeza esistete tra i segi di X µ X e Y µ Y. Più precisamete esse soo positive se X µ X e Y µ Y tedoo ad avere lo stesso sego, metre soo egative i caso cotrario. I valore assoluto la covariaza è amplificata dallo scarto quadratico medio delle due variabili, per questo si utilizza spesso il coefficiete di correlazioe per avere ua misura più rappresetativa del grado della loro relazioe lieare, i qualche modo idipedete dalle variaze. Si dimostra facilmete che cov(x, Y ) = E[XY ] µ X µ Y e si può provare (usado la disuguagliaza di Schwartz) che 1 r(x, Y ) 1 È facile provare che se X e Y soo idipedeti allora cov(x, Y ) = 0. Il viceversa i geerale o è vero: esistoo variabili aleatorie co covariaza ulla che o soo idipedeti. Per esempio, se U è ua uiforme i [0, 1] e defiiamo X = cos(2πu), Y = si(2πu), si verifica che cov(x, Y ) = 0: tuttavia è evidete che X e Y o soo idipedeti. Ituitivamete i questo caso, pur essedo le due variabili dipedeti, il sego di ua o viee determiato o ifluezato dal valore dell altra. Di otevole importaza i questo cotesto soo le somme di variabili aleatorie. I particolare, date le v.a. X, Y e X 1,..., X, valgoo le segueti proprietà: 1. E[ i=1 X i] = i=1 E[X i]; 19
2. var(x + Y ) = var(x) + var(y ) + 2cov(X, Y ); 3. se X 1,..., X soo idipedeti allora var( X i ) = i=1 var(x i ) i=1 4. se X e Y soo idipedeti e ammettoo fuzioe geeratrice dei mometi m X (t), m Y (t), allora posto Z = X + Y abbiamo m Z (t) = m X (t) m Y (t) Più i geerale la fuzioe geeratrice dei mometi di ua somma di variabili aleatorie idipedeti è il prodotto delle fuzioi geeratrici dei mometi. Quest ultima proprietà cosete di dermiare la fuzioe geeratrice (e quidi la distribuzioe) di somme di variabili aleatorie. Per esempio: - ua biomiale X,p è la somma di beroulliae idipedeti di parametro p e quidi m X,p (t) = (q + pe t ) = ( q + pe t) i=1 - date espoeziali idipedeti di parametro λ, X 1,..., X, la variabile S = i=1 X i verifica ( ) λ m S (t) = λ t provado che S possiede ua distribuzioe gamma di parametri e λ; - date ormali idipedeti X 1,..., X di parametri µ i e σi 2 ciascua, la somma S = i=1 X i possiede fuzioe geeratrice dei mometi { } m S (t) = exp{µ i t + (σ i t) 2 /2} = exp t µ i + t2 σi 2 2 i=1 e quidi ache S è ua ormale; la sua media e la sua variaza soo rispettivamete µ = i=1 µ i e σ 2 = i=1 σ2 i. 7.2 Matrici di covariaze Cocludiamo questa sezioe ricordado l aalogo multidimesioale della media e della variaza di ua variabile aleatoria. Data ua variabile aleatoria -dimesioale X = (X 1,..., X ), deotiamo co E[X] il vettore dei valori medi, ovvero i=1 E[X] = (E[X 1 ], E[X 2 ],..., E[X ]) Esso è chiaramete defiito quado tutte le variabili X i ammettoo valor medio. Tali valori dipedoo solo dalle sigole variabili aleatorie e o dalle loro evetuali dipedeze. i=1 20
La matrice delle covariaze di X è ivece defiita da Γ X = [cov(x i, X j )] i,j=1,..., Chiaramete, quado esiste, Γ X è ua matrice simmetrica, ella quale la diagoale pricipale è formata dalle variaze delle variabili X 1,..., X, prese el loro ordie. È evidete che tale matrice dipede dalle relazioi esisteti tra le variabili X i ; se le X i soo idipedeti Γ X è ua matrice diagoale. Ioltre, si dimostra che Γ X è semidefiita positiva, ovvero a Γ X a 0 per ogi a R cosiderato come vettore coloa (come d abitudie deotiamo co a il trasposto di a). Ifatti, posto a = (a 1, a 2,..., a ), si verifica che a Γ X a = var(a 1 X 1 + a 2 X 2 + a X ) 0 Osserva che la codizioe var(a 1 X 1 + a 2 X 2 + a X ) = 0 implica che la variabile aleatoria a X = a 1 X 1 + a 2 X 2 + a X è degeere e quidi esiste tra le X i ua precisa dipedeza lieare. Se ivece Γ X è defiita positiva, ovvero b Γ X b > 0 per ogi b R diverso dal vettore ullo 0, allora la variabile a X = a 1 X 1 + a 2 X 2 + a X è degeere se e solo se a i = 0 per ogi i. Ricordiamo che ua matrice M R simmetrica defiita positiva è o sigolare (ovvero il suo determiate è diverso da 0), possiede tutti gli autovalori reali positivi, e ioltre ache la sua iversa M 1 è simmetrica defiita positiva. Ifie ua M R è simmetrica defiita positiva se e solo se esiste ua matrice A R o sigolare, tale che M = AA. U esempio classico è quello delle variabili aleatorie ormali multidimesioali. Dati u vettore µ R e ua matrice Σ R simmetrica defiita positiva, defiiamo la fuzioe f µ,σ : R R + mediate l uguagliaza { f µ,σ (x) = (2π) /2 exp (x } µ) Σ 1 (x µ) det(σ) 2 x R Si prova che f µ,σ è ua fuzioe desità di ua variabile aleatoria -dimesioale X di media µ e matrice delle covariaze Σ. La corrispodete fuzioe distribuzioe è chiamata legge ormale (o gaussiaa) multidimesioale di parametri µ e Σ. Ua tale variabile aleatoria può essere costruita cosiderado ua -pla di v.a. moodimesioali idipedeti U = (U 1, U 2..., U ), tutte co distribuzioe ormale di media 0 e variaza 1. Dato u vettore µ R e ua matrice o sigolare A R possiamo cosiderare la variabile aleatoria Z di dimesioe defiita dalla relazioe Z = µ + AU Si verifica apputo che la Z possiede ua distribuzioe ormale di media µ e matrice delle covariaze Σ = AA. 21
8 Covergeza stocastica e teoremi limite classici I questa sezioe cosideriamo sequeze di variabili aleatorie e ricordiamo le forme pricipali di covergeza di tali successioi. I teoremi limite classici, come la legge dei gradi umeri o il teorema limite locale, possoo essere visti come esempi o casi particolari di covergeza stocastica. Nelle cosiderazioi segueti, per ogi sequeza di variabili aleatorie {X } N, supporremo che tutte le X siao defiite sul medesimo spazio di probabilità (Ω, M, P r). 8.1 Covergeza i probabilità e quasi ovuque Data ua sequeza di v.a. {X } N e ua ulteriore v.a. X, sempre defiita sullo stesso spazio (Ω, M, P r), diciamo che {X } coverge i probabilità a X se, per ogi ε > 0, lim P r( X X > ε) = 0 + U esempio classico è quello della covergeza a p (variabile aleatoria degeere) di ua biomiale X,p quozietata rispetto a. I altre parole, si verifica che {X,p /} 1 coverge a p i probabilità. Ifatti, per ogi ε > 0, applicado la disuguagliaza di Chebyshev otteiamo P r ( X,p ) p > ε = P r( X,p p > ε) var(x,p) ε 2 2 = O(1/) Nello stesso modo si dimostra che per ogi sequeza di v.a. idipedeti {X } 1 aveti la stessa media µ e la stessa variaza fiita σ 2, la sequeza delle somme quozietate { i=1 X } i coverge a µ i probabilità. Questi esempi soo casi particolari di legge debole dei gradi umeri. I geerale, si dice ache che ua sequeza di v.a. {X } 1, ciascua delle quali ammette media fiita µ, verifica la legge debole dei gradi umeri se { i=1 (X } i µ i ) coverge a 0 i probabilità. Si può dimostrare che questo occorre ogiqualvolta le X hao variaza limita da ua costate comue. Date {X } N e X come sopra, diremo ivece che la sequeza {X } N coverge a X quasi ovuque (X X q.o.) se P r( lim + X = X) = 1 La defiizioe è be posta poiché si prova che l eveto {ω Ω lim + X (ω) = X(ω)} appartiee a M. Vale la pea illustrare questa dimostrazioe poiché essa si applica i modo sostazialmete ivariato alle pricipali proprietà asitotiche. Per provare che (lim X = X) M, cosideriamo per u geerico ε > 0 l eveto 1 ( X X < ε) 1 22
È chiaro che tale isieme appartiee M. Di cosegueza, per ogi N, ache gli isiemi + j= ( X j X < ε) e A ε = + + =0 j= ( X j X < ε) appartegoo a M. Nota che l isieme A ε coicide co la famiglia di tutti gli ω Ω per i quali X j (ω) X(ω) < ε vale defiitivamete per j abbastaza grade. Ne segue che scegliedo ua successioe {ε m } tedete a 0, l isieme A = + m=0 coicide co l eveto (lim X = X) e quidi appartiee a M per costruzioe. È immediato verificare che se X X q.o. allora {X } tede a X i probabilità; si può provare che il viceversa i geerale o è vero. Ua codizioe sufficiete spesso usata per provare la covergeza q.o. è data dalla seguete proprietà. A εm Proposizioe 4 (Lemma di Borel-Catelli) Se per ogi ε > 0 la serie è covergete, allora X X q.o.. + =0 P r( X X ε) Ache i questo caso il viceversa o è sempre vero. Come esempio, cosideriamo la successioe di biomiali {X,p } 1 co 0 < p < 1 fissato. Si dimostra che X,p / coverge a p quasi ovuque. Ifatti, per ogi ε > 0, abbiamo ( X,p ) p ε ( X,p p 4 (ε) 4) e di cosegueza per la disuguagliaza di Markov (2), ( X,p P r ) p ε E [ X,p p 4] (ε) 4 Il mometo cetrale quarto di X,p può essere calcolato direttamete usado la fuzioe geeratrice dei mometi e si ottiee E[ X,p p 4 ] = O( 2 ). Quidi la parte destra dell ultima disuguagliaza risulta O(1/ 2 ), termie geerale di ua serie covergete, per cui la covergeza q.o. è assicurata dal lemma di Borel-Catelli. Più i geerale, si può dimostrare che se {X } 1 è ua sequeza di v.a. idipedeti di ugual media µ e variaza limitata da ua costate, allora i=1 X µ q.o. 23
Questi esempi soo casi particolari di legge forte dei gradi umeri. I geerale, si dice che ua sequeza di v.a. {X } 1, ogua co media fiita µ, obbedisce alla legge forte dei gradi umeri se la sequeza { i=1 (X } i µ i ) coverge a 0 quasi ovuque. La covergeza quasi ovuque o implica la covergeza dei valori medi, emmeo quado tali valori soo defiiti. Cosideriamo per esempio la sequeza di v.a. discrete {X } 1 tali che, per ogi 1, P r(x = x) = 1 2 1 se x = 2 1 1 se x = 0 2 0 altrimeti Poiché P r( X > ε) = 1 2, per il lemma di Borel-Catelli X 0 q.o., tuttavia E[X ] = 2 / 2 tede a + al crescere di. Per trattare la covergeza dei valori medi si utilizzao tradizioalmete altre ozioi limite. Dato u itero r > 0 diciamo che ua sequeza di v.a. {X } N coverge a ua v.a. X i L r (o i media r-esima) se lim + E[ X X r ] = 0 La covergeza i L 2 è ache chiamata covergeza i media quadratica. Applicado ote proprietà e i particolare la disuguagliaza di Markov (2) si dimostra facilmete che 1. la covergeza i L r implica la covergeza i L s per ogi r, s, tali che r > s; 2. la covergeza i L 1 implica la covergeza i probabilità; 3. se {X } coverge a X i L 1 allora lim E[X ] = E[X]. Osserva i particolare che la covergeza i media quadratica implica la covergeza i probabilità. 8.2 Covergeza i distribuzioe Cosideriamo ua fuzioe h(x) e ua sequeza di fuzioi {h (x)} N, tutte defiite i R a valori i R. Diciamo allora che h coverge debolmete a h se lim h (x) = h(x) + per ogi x R di cotiuità per h. Diciamo ioltre che ua sequeza di v.a. {X } coverge i distribuzioe a ua v.a. X se {F X } coverge debolmete a F X, ovvero la sequeza delle fuzioi distribuzioe di {X } coverge debolmete alla fuzioe distribuzioe di X. È bee segalare che questa defiizioe riguarda solo le fuzioi distribuzioe delle variabili, quidi tale covergeza può occorrere ache quado i valori delle {X } o si avviciao per ulla a quelli di X. Per esempio cosidera le variabili aleatorie Y e Z tali che P r(y = i) = 1/2 se i = 1 1/2 se i = 1 0 altrimeti 24 { Y se pari Z = Y se dispari
Poiché ogi Z ha la stessa fuzioe distribuzioe di Y è chiaro che {Z } coverge a Y i distribuzioe. Tuttavia la sequeza {Z }, come successioe di fuzioi, o si avvicia a Y i alcu modo, azi assume ciclicamete i valori opposti. La covergeza i distribuzioe gode delle segueti proprietà : 1. la covergeza i probabilità implica la covergeza i distribuzioe: se X X i prob. allora {F X } coverge a F X debolmete. Il viceversa o è vero i geerale, u cotroesempio è forito dalle v.a. Y e Z defiite sopra; 2. se {X } coverge a X i distribuzioe allora {F X } coverge a F X uiformemete i tutto R; 3. suppoiamo che {X } e X possiedao fuzioe geeratrice dei mometi. Allora {X } coverge a X i distribuzioe se e solo se, per ogi t i u itoro di 0, lim m X + (t) = m X (t) L esempio fodametale di covergeza i distribuzioe è forito dal Teorema del Limite Cetrale. I geerale si dice che ua sequeza di v.a. {X } soddisfa tale teorema se le somme parziali -esime della sequeza, opportuamete ormalizzate, covergoo i distribuzioe a ua v.a. ormale di media 0 e variaza 1 (ormale stadard). I vari teoremi di limite cetrale si differeziao tra loro a secoda delle ipotesi fatte sulla sequeza cosiderata. Tra i casi più rilevati ricordiamo il seguete. Teorema 5 Sia {X } è ua sequeza di variabili aleatorie idipedeti di ugual distribuzioe, media µ e variaza fiita σ 2. Allora, al crescere di, la successioe { i=1 X } i µ σ coverge i distribuzioe a ua ormale stadard. I altre parole, per ogi x R, abbiamo ( lim P r i=1 X ) i µ + σ x = 1 x e t2 2 dt 2π La tradizioale dimostrazioe di questo teorema ell ipotesi più restrittiva che tutte le X i possiedao fuzioe geeratrice dei mometi, può essere descritta ituitivamete el modo i=1 seguete. Posto S = X i µ, essedo le X idipedeti, si ha che σ m S (t) = E[exp(tS )] = i=1 1 [ ( E exp t X )] i µ σ = i=1 m X i µ (t/ ) σ Poiché le X i hao la stessa distribuzioe, le fuzioi m X i µ soo tutte uguali tra loro e si σ possoo deotare come m Y per ua qualuque v.a. Y avete la loro stessa distribuzioe. Questo prova che m S (t) = ( m Y (t/ ) ) A questo puto, sviluppado tale fuzioe i serie di poteze co cetro i 0 e passado al limite per +, si ricava m S (t) e t2 /2 e quest ultima è proprio la fuzioe geeratrice dei mometi di ua ormale stadard. 25
L esempio classico di applicazioe dell euciato precedete riguarda le biomiali, poiché queste o soo altro che somme di Beroulliae idipedeti di ugual distribuzioe. Più precisamete, cosideriamo ua v.a. biomiale X,p di parametri e p: essa è ua somma di Beroulliae idipedeti di parametro p, possiede media p e variaza pq; quidi, per il teorema precedete, X,p p pq coverge i distribuzioe a ua ormale stadard. Questo sigifica che per ogi costate x R lim + p+x pq j=0 ( ) p j q j = 1 x e t2 2 dt j 2π Quest ultimo risultato è oto come Teorema di De Moivre - Laplace (i grade) ed è uo dei primi risultati oti di approssimazioe a ua ormale. 9 Disuguagliaza di Cheroff Nell aalisi degli algoritmi probabilistici e i geerale i molte applicazioi occorre spesso valutare la coda di ua biomiale, ovvero la probabilità che questa variabile aleatoria disti dalla media per ua quatità fissata. Come sappiamo la disuguagliaza di Chebyshev (3) cosete di maggiorare proprio il valore P r( X E[X] ε) per ua qualuque v.a. X dotata di variaza fiita e u qualsiasi ε > 0. Nel caso di ua biomiale X,p si ottiee la disuguagliaza P r( X,p p ε) pq ε 2 (dove q = 1 p) (4) che suggerisce ua covergeza a zero dell ordie di O(1/) al crescere di. Tuttavia, per il teorema del limite cetrale, sappiamo che X,p coverge i distribuzioe a ua ormale e quidi è lecito aspettarsi che la coda di X,p, ovvero la probabilità cosiderata sopra, si avvicii a zero co ua velocità espoeziale. Ifatti, applicado il teorema 5, per + si ricava P r(x,p p ε) = ( X,p p P r pq ) O ( 1/2 e ε2 2pq dove l ultima disuguagliaza segue dalla relazioe ) ε 1 pq + e y2 /2 dy 2π ε pq + y e z2 /2 dz e y2 /2 y (y > 0) otteuta itegrado per parti (fattore derivato ze z2 /2 ) ed elimiado il termie egativo. L espressioe espoezialmete egativa otteuta sopra è tuttavia ua maggiorazioe asitotica, o forisce u preciso valore di oltre il quale siamo sicuri che la probabilità della coda sia miore di u δ fissato. Se vogliamo otteere ua valutazioe di questo tipo che assicuri 26
u approssimazioe espoeziale allo 0, dobbiamo usare ua disuguagliaza vera e propria. A questo scopo risulta utile la seguete maggiorazioe dovuta a Cheroff, la cui dimostrazioe può essere vista come il caso particolare di ua più geerale proprietà, la disuguagliaza di Hoeffdig, valida per somme di v.a. a valori limitati i u itervallo. Teorema 6 (Disuguagliaza di Hoeffdig) Cosideriamo ua -pla di variabili aleatorie idipedeti X 1, X 2,..., X ella quale ciascua X i assuma valori i u itervallo [a i, b i ], a i < b i per ogi i, e defiiamo S = i=1 X i. Allora, per ogi t > 0, vale la relazioe Dimostrazioe. (2) si ottiee P r ( S E[S ] t) 2e 2t 2 i=1 (b i a i ) 2 Osserviamo che per ogi v.a. X e ogi s > 0, dalla disuguagliaza di Markov P r(x t) = P r(e sx e st ) E [ e sx] e st ( t > 0) Applicado questa disuguagliaza alla variabile S E[S ] e ricordado l idipedeza delle X i ricaviamo P r(s E[S ] t) E [ e s(s E[S])] = e st [ E e s ] i=1 (X i E[X i ]) e st = i=1 E [ e s(x i E[X i ]) ] Se applichiamo ora il lemma 7 (provato el seguito) a ciascu termie dalla produttoria precedete otteiamo P r(s E[S ] t) i=1 e s2 (b i a i ) 2 8 e st e st = exp { st + s2 i=1 (b i a i ) 2 } 8 4t Quest ultima espressioe assume il valore miimo per s = i=1 (b i a i ; sostituedo tale valore ) 2 si ricava { 4t 2 P r(s E[S ] t) exp i=1 (b i a i ) 2 + 2t 2 } i=1 (b i a i ) 2 { 2t 2 } = exp i=1 (b i a i ) 2 Ragioado i modo aalogo si prova la stessa disuguagliaza per P r(e[s ] S t) e questo coclude la dimostrazioe. Il seguete lemma completa la dimostrazioe precedete. Lemma 7 Sia X ua v.a. o degeere a valori ell itervallo [a, b], co a, b R e a < b, tale che E[X] = 0. Allora, per ogi s > 0, vale la disuguagliaza E[e sx ] e s2 (b a) 2 8 27