Legge dei grandi numeri e Teorema Centrale Limite

Transcript

1 Legge dei gradi umeri e Teorema Cetrale Limite 5 maggio 017 Discutiamo due teoremi fodametali per raccordare probabilitá e statistica: la legge dei gradi umeri e il Teorema Cetrale Limite (TCL, ache detto Teorema del limite cetrale). La legge dei gradi umeri ci dice che la media aritmetica di u campioe di variabili aleatorie (VA) X i, idipedeti e ideticamete distribuite, ovvero 1 X i per crescete tede o coverge al valore atteso teorico µ (cfr. Figura 1). Ma come si distribuiscoo per crescete le deviazioi / fluttuazioi di 1 X i rispetto a µ? Il TCL asserisce che tali fluttuazioi obbediscoo ad ua legge Gaussiaa, oostate le distribuzioi delle sigole variabili possao essere del tutto geeriche (i forma semplice: la somma di u umero sufficietemete grade di variabili é gaussiaa). George Pola itrodusse per primo l espressioe Teorema Cetrale Limite riteedo il TCL u teorema cetrale per il calcolo delle probabilitá. Per otteere questi due risultati fodametali, discutiamo prima alcui aspetti (valore atteso, variaza e fuzioi geeratrici dei mometi) relativi alla somma di VA idipedeti. Figura 1: La figura mostra le traiettorie otteute co diverse realizzazioi della VA 1 X i per crescete: tutte covergoo al valore atteso teorico µ (liea rossa). La distribuzioe delle deviazioi 1 X i µ segue ua legge Gaussiaa 1 Distribuzioi cogiute e margiali Cosideriamo due variabili aleatorie discrete X e Y. Siamo iteressati all eveto cogiuto {X } {Y } e alla probabilitá di tale eveto o probabilitá cogiuta P XY ({X } {Y }) P XY (X, Y ) p XY (, )

2 legge dei gradi umeri e teorema cetrale limite Nel caso discreto la cogiuta si puo scrivere i forma tabellare. U esempio di p. cogiuta di due VA che possoo assumere valori é riportato i Figura. X {0, 1, }, Y {0, 1} Figura : La distribuzioe cogiuta P XY ({X } {Y }) scritta esplicitamete i forma tabellare. Nell ultima coloa a destra e ell ultima riga i basso (i margii) soo riportati i valori otteuti sommado su ciascua coloa fissata la riga i, P Y (Y i) p (, i), e su ciascua riga fissata la coloa j, P X (X j) p ( j, ). P X e P Y rappresetao le distribuzioi di probabilitá margiali. Dalla probabilitá cogiuta possiamo iferire la probabilitá di qualsiasi eveto di iteresse che riguarda le VA X, Y. Ad esempio, P XY (X + Y > 1) P XY (1, 1) + P XY (, 1) + P XY (, 0) Per distribuzioi discrete é utile talvolta semplificare la otazioe: P XY ({X i} {Y j}) p XY (i, j) p i,j Notiamo che la cogiuta é ormalizzata, i,j p i,j i j p i,j 1. Nella tabella riportata i Figura abbiamo ache riportato, a margie, i valori otteuti sommado su ciascua coloa fissata la riga i, P Y (Y i) p (, i), e su ciascua riga fissata la coloa j, P X (X j) p ( j, ). L isieme dei valori P X (X j) e P Y (Y i) defiiscoo rispettivamete le probabilitá margiali di X e Y: P X () p XY (, ) P Y () p XY (, ) Si oti che P X e P Y soo ormalizzate, P X () 1, P Y () 1.

3 legge dei gradi umeri e teorema cetrale limite 3 I cocetti itrodotti soo ovviamete geeralizzabili a VA cotiue. Se X e Y soo VA (cotiue o discrete) la fizioe di ripartizioe cogiuta é defiita come F XY (, ) P XY (X, Y ) e per essa valgoo tutte le proprietá defiite per le fuzioi di ripartizioe di ua sigola variabile aleatoria. Nel caso cotiuo, F XY (, ) é (assolutamete) cotiua se esiste la fuzioe desitá di probabilitá cogiuta f XY (, ) (o egativa e itegrabile) tale che F XY (, ) dove f XY(, )dd 1 e f XY (, )dd Figura 3: U eveto cotiuo A {(, ) a X b, c Y d} f XY (, ) ( (F XY(, ))) F XY (, ) I altri termii la probabilitá cogiuta el caso cotiuo é defiita come prob(, A) P(a X b, c Y d) b d a c f XY (, )dd Figura 4: Le figure a), b) e c) soo tre possibili rappresetazioi grafiche di ua geerica desitá cogiuta prob(, ): a) la rappreseta come u volume sul supporto bidimesioale, ; b) come ua mappa a livelli; c) come ua mappa dove il colore é il valore di probabilitá assuto i ciascu puto (, ) (il ero idica probabilitá ulla). La figura d) mostra le due distribuzioi margiali di, rispetto alla cogiuta otteute accumulado i valori della cogiuta sull asse e sull asse. Ioltre: f X () f (, )d

4 legge dei gradi umeri e teorema cetrale limite 4 sará la desitá margiale rispetto a X, e f Y () f (, )d la desitá margiale rispetto a Y. Ua rappresetazioe grafica di cogiute e margiali el caso cotiuo é riportato i Figura 4. Si oti che la fuzioe di ripartizioe margiale F X () é per defiizioe P X (X ). Esplicitamete, el caso cotiuo: F X () P X (X ) F XY (, + ) [ + Esempio 1.1 Sia data la desitá cogiuta cotiua: 6e 3 per > 0, > 0 f XY (, ) 0 altrimeti Calcolare P XY (1, 3): P XY (1, 3) 3 3 [ 1 6 e d e 3 d 6 1 e (e e 4 )(e 6 e 9 ) Calcolare la desitá margiale f X : f X () 0 f XY (, )d 6e 1 3 [e 3 ] e (1 0) e Calcolare la CDF cogiuta: Ripetedo i calcoli precedeti si ottiee F XY (, ) 1.1 Probabilitá codizioata ] f X,Y (u, v)dv du f X (u)du 6e 3 dd ] 1 [ ] 1 3 e 3 3 6e 3 d 6e e 3 d 6e u 3v dudv (1 e )(1 e 3 ) Nel caso discreto, osservato u valore di Y, e data la distribuzioe cogiuta P XY (X, Y) é possibile defiire la probabiitá codizioata di X Y ello stesso modo i cui avevamo defiito la probabilitá codizioata di eveti: P X Y (X Y ) P XY(X, Y ) P Y (Y ) dove P Y (Y ) > 0 ed é ricavabile per margializzazioe da P XY (X, Y). 0

5 legge dei gradi umeri e teorema cetrale limite 5 Esempio 1. Cosiderado l esempio iiziale di Figura, possiamo calcolare P X Y (X Y 1) P X Y (X 0 Y 1) P XY(X0,Y1) 0. P Y (Y1) P X Y (X 1 Y 1) P XY(X1,Y1) 0. P Y (Y1) P X Y (X Y 1) P XY(X,Y1) 0 P Y (Y1) Nel caso cotiuo la desitá codizioata é defiita come: I termii di CDF: f X Y ( ) f XY(, ) f Y () Figura 5: Probabilitá codizioata calcolata ell Esempio 1. (la liea rossa serve solo a guidare l occhio) F X Y ( ) f XY(u, )du f XY(u, )du Figura 6: Rappresetazioe grafica della desitá codizioata prob(x Y ): questa é iterpretabile come il profilo che si ottiee tagliado la desitá cogiuta i Y Se X e Y soo idipedeti valgoo le segueti P XY (, ) P X ()P Y () f XY (, ) f X () f Y () I geerale (ei casi discreto e cotiuo): F XY (, ) F X ()F Y () Piú precisamete si dice che X e Y soo statisticamete o margialmete idipedeti. U caso immediato é giá stato visto alla fie dell Esempio 1.1 dove F XY (, ) (1 e )(1 e 3 )

6 legge dei gradi umeri e teorema cetrale limite 6 Si puó facilmete verificare che F X () (1 e ) e F Y () (1 e 3 ), pertato F XY (, ) F X ()F Y (). Nell esempio, duque X e Y soo idipedeti, ed é il motivo per cui l itegrazioe doppia risulta agevole essedo separabile su e. Riportiamo ifie, i Figura 7 u esempio otevole: la distribuzioe Normale bivariata che si puó scrivere come f (, ) [ 1 1 πσ σ 1 ρ e (1 ρ ) ( µ σ ) ( ρ ( µ)( µ σσ ) ( µ ) ] dove ρ cov(x,y) σ σ é il coefficiete di correlazioe fra le variabili X e Y che vedremo piú avati. Quado ρ 0 allora X e Y soo idipedeti e la Normale bivariata é semplicemete il prodotto N ( µ, σ )N ( µ, σ ) delle due Normali uivariate. Tuttavia, ache el caso piú geerale di ρ 0 margiali e codizioate soo sempre distribuzioi Normali. σ Figura 7: U caso otevole: per ua distribuzioe Normale bidimesioale, margiali e codizioate soo acora distribuzioi Normali (uidimesioali) Valore atteso e variaza Affrotiamo il problema di calcolare valore atteso e variaza per distribuzioi cogiute di VA X e Y. Per brevitá otazioale cosidereremo il caso cotiuo, ma i risultati soo estedibili immediatamete al caso discreto. Data la desitá cogiuta f XY (, ), il suo valore atteso é: µ E[X] f XY (, )dd d f XY (, )d f X ()d dove si é usata la defiizioe di desitá margiale di Y. Aalogamete

7 legge dei gradi umeri e teorema cetrale limite 7 µ E[Y] f Y ()d I geerale, se abbiamo ua variabile aleatoria Z g(x, Y) fuzioe di X e di Y, di desitá cogiuta f XY, avremo che: µ z E[Z] g(, ) f XY (, )dd Noti i valori di aspettazioe µ e µ, le rispettive variaze soo var(x) ( µ ) f XY (, )dd ( µ ) f X ()d Aalogamete: var(y) ( µ ) f Y ()d 3 Valore atteso e variaza della somma di variabili aleatorie Date due VA X, Y, cosideriamo la VA somma Z X + Y e calcoliamoe il valore atteso rispetto alla desitá cogiuta f (, ): E[Z] E[X + Y] f (, )dd + f X ()d + ( + ) f (, )dd f ()d f (, )dd E[X] + E[Y] (1) I geerale per VA X 1, X, X vale la seguete: E[ X i ] E[X i ] () Date due VA X, Y, idipedeti, cosideriamo la VA prodotto allora vale la seguete: Z XY E[Z] E[XY] E[X]E[Y] (3)

8 legge dei gradi umeri e teorema cetrale limite 8 Ifatti: E[Z] E[XY] f X ()d f (, )dd f Y ()d E[X]E[Y] (4) dove si é fatto uso dell ipotesi di idipedeza per fattorizzare la cogiuta, f (, ) f X () f Y (). Date due VA X, Y, questa volta idipedeti, cosideriamo di uovo la VA somma Z X + Y e calcoliamoe la variaza: var(z) var[x + Y] E[(X + Y) ] E[(X + Y)] E[X + Y + XY] (E[X] + E[Y]) E[X ] + E[Y ] + E[XY] E[X] E[Y)] E[X]E[Y] E[X ] + E[Y ] + E[X]E[Y] E[X] E[Y)] E[X]E[Y] var(x) + var(y) (5) I geerale per VA X 1, X, X idipedeti vale la seguete: var( 4 Legge dei gradi umeri X i ) var(x i ) (6) Sulla base delle proprietá fi qui dimostrate possiamo ora euciare e dimostrare la legge dei gradi umeri (i forma debole) Teorema 4.1 Sia X ua VA tale che E[X] µ var(x) σ. Siao X 1, X, X VA idipedeti e ideticamete distribuite (i.i.d.) come X X i X, i, i modo che il loro isieme costituisca u campioe aleatorio di taglia della VA X. Sia S X 1 + X + + X X i la variabile aleatoria somma e S 1 X i

9 legge dei gradi umeri e teorema cetrale limite 9 la media aritmetica del campioe. Allora vale la seguete: lim P( S µ ɛ) 0 ɛ > 0 (7) ovvero S coverge i probabilitá al valore atteso teorico µ: S P µ Dimostrazioe Il teorema si dimostra applicado la diseguagliaza di Chebchev che, poedo ɛ k var(x), riscriviamo el seguete modo Usado S P( X E[X] k var(x)) 1 k P( X E[X] ɛ) var(x) ɛ (8) al posto della geerica X P( S [ E S ] ɛ) var( S ) ɛ (9) Utilizzado le proprietá di valore atteso e variaza della somma di VA iidipedeti, e le ipotesi che esse abbiao la stessa distribuzioe (ideticamete distribuite), per cui E[X i ] µ, var(x i ) σ E [ S ] E [ 1 X i ] 1 var ( S ) var ( 1 X i ) E [X i ] 1 µ µ µ 1 var (X i ) 1 σ σ σ Sostituedo i Eq.(9) e prededo il limite per lim P( S σ µ ɛ) lim ɛ 0 (10) I coclusioe la legge dei gradi umeri ci assicura che la media aritmetica S coverge i probabilitá al valore atteso teorico µ. La S e ua VA. Qual é la legge di probabilitá che ci descrive la sua distribuzioe, ovvero le sue fluttuazioi metre sta covergedo a µ? Il Teorema Cetrale Limite ci dice che tale distribuzioe é la Gaussiaa, idipedetemete dalle distribuzioi utilizzate per geerare le X i (purché abbiao media e variaza fiite!). Per dimostrare questa proprietá ci serve prima defiire uo strumeto geerale e uivoco per caratterizzare la distribuzioe di ua VA. Tale strumeto é la fuzioe geeratrice dei mometi.

10 legge dei gradi umeri e teorema cetrale limite 10 5 Fuzioe Geeratrice dei Mometi (f.g.m) f.g.m. ϕ X (u) E[e ux ] e u p X () se X discreta, e u f X () d se X cotiua. (11) Sviluppiamo ora questa fuzioe utilizzado McLauri: ϕ X (u) E[e ux ] E[1 + u X + u X + ] E[1] + u E[X] + u E[X ] + + i0 E[X i ] i! u i (1) Derivado i volte questa fuzioe é possibile ricavare il mometo i-esimo: E[X i ] di du i ϕ X(u) (13) u0 E possibile verificare subito tale proprietá per media e variaza sfruttado la liearitá del valore atteso d du ϕ X(u) u0 d du E[euX ] u0 E[ d du eux u0 ] E[Xe ux u0 ] E[X]; aalogamete d du ϕ X(u) u0 d du E[euX ] u0 E[ d du eux u0 ] E[X e ux u0 ] E[X ]; 5.1 Distribuzioe della V.A. somma di due V.A. idipedeti Che distribuzioe ha la VA che si defiisce come somma di due V.A. idipedeti? Lemma 5.1 Siao X, Y V.A. idipedeti e sia Z X + Y. Vale la seguete: ϕ Z (u) ϕ X () ϕ Y () (14) Dimostrazioe Utilizzado la proprietá di fattorizzazioe di E[] per il prodotto di VA idipedeti: ϕ Z (u) E[e u(x+y) ] E[e ux e uy ] E[e ux ] E[e uy ] ϕ X (u) ϕ Y (u). (15)

11 legge dei gradi umeri e teorema cetrale limite 11 Geeralizzado, su realizzazioi idipedeti X 1, X,, X dove ciascua X i é campioata dalla stessa distribuzioe, e Z é la V.A somma Z S S X 1 + X + + X X i ϕ S (u) ϕ X i (u) E[e u( X i) ] [ ϕ Xi (u) ] (16) Esempio 5. (f.g.m della Biomiale) La f.g.m. della distribuzioe Biomiale si puó calcolare facilmete, ricordado che la Biomiale si ottiee come la somma X 1, X,, X dei risultati di realizzazioi idipedeti X 1, X,, X di ua V.A. Beroulliaa, (per esempio, laci di moeta) cioé dove ogi X i é distribuita co legge beroulliaa: X i Ber(p). Calcoliamo quidi la f.g.m. della Beroulli ϕ Ber (u) E Ber [e ux ] e u 1 p X () e u p q 1 0 e u0 p 0 q e u1 p 1 q 1 1 q + e u p La Biomiale coteggia gli eveti di iteresse X i Ber(p) co i 1,, e X i {0, 1}, dove S X 1 + X + + X X i k (X i 1 i caso di successo, altrimeti X i 0) Facedo uso della f.g.m. della Beroulli, e applicado l equazioe (16) la f.g.m. della Biomiale é ϕ X Bi(,p) (u) [ ϕ Xi Ber(p)(u)] [q + p e u ] (17) Dopo aver calcolato la f.g.m. della distribuzioe Biomiale, verifichiamo per esercizio come il calcolo del mometo di ordie 1 (valor medio) mediate la derivata prima dϕ X Bi(,p) (u) du u0, corrispoda a E Bi [X] p: E Bi [X] d du ϕ X Bi(,p)(u) u0 d du (q + p eu ) (q + p e u ) 1 p e u u0 u0 (q + p) 1 p 1 1 p p. (18)

12 legge dei gradi umeri e teorema cetrale limite 1 Esempio 5.3 (f.g.m. della Normale Stadard) Calcoliamo ora la f.g.m. della distribuzioe Normale Stadard N(0, 1)che ci servirá per dimostrare il Teorema Cetrale Limite: ϕ X N(0,1) (u) π e u e 1 d 1 π e u e 1 ( u) d + e u 1 π e 1 ( u) d (19) e u. 6 Teorema Cetrale Limite Come giá aticipato il Teorema Cetrale Limite (TCL) ci dice che la distribuzioe che descrive le deviazioi (fluttuazioi) delle somma di variabili aleatorie rispetto al valore atteso teorico é la distribuzioe Gaussiaa, idipedetemete dalle distribuzioi utilizzate per geerare le X i, purché tali distribuzioi abbiao media e variaza fiite. Le ipotesi del TCL soo le stesse assute el caso della legge dei gradi umeri Teorema 6.1 (TCL) Siao X 1, X,, X V.A. idipedeti e ideticamete distribuite (i.i.d), siao µ < e σ < la media e la variaza di ciascua V.A., sia S X i, siao a, b valori reali co a < b. Allora vale la seguete: lim P(a S µ + σ b) ( ) lim P(a + σ S µ b) 1 π b a φ(b) φ(a). e 1 d (0) Dimostrazioe La dimostrazioe si riduce a verificare che la fuzioe geeratrice della VA stadardizzata Z S E[ S var( S ) ] S µ σ é la f.g.m della Gaussiaa stadard ϕ N(0,1) (u) e u. Riscriviamo la Z come

13 legge dei gradi umeri e teorema cetrale limite 13 Z S µ σ X 1 µ σ + X µ σ + + X µ σ 1 j1 t j dove t j X j µ σ soo stadard co distribuzioe N(0, 1). La f.g.m. di Z é, per la proprietá della f.g.m. della somma di VA, ϕ Z (u) ϕ 1 j1 t j (u) ϕ j1 t j ( u ) j1 ( ) [ ( )] u u ϕ tj ϕ tj La f.g.m. delle t j, sviluppado i serie l espoeziale, co E[t j ] 0, E[t j ] 1 giacché stadard, vale ( ) ( ) u ϕ tj 1 + u t E[t j ] + u E[t j ] u + o j Pertato ϕ Z (u) [ 1 + u + o ( t j )] Prededo il logaritmo a destra e siistra log ϕ Z (u) log [ 1 + u + o ( )] t j Poiamo ( ) t u + o j e riscriviamo log ϕ Z (u) di cui vogliamo calcolare il limite: log (1 + ). lim log ϕ log (1 + ) Z (u) lim. Notiamo che per come é stata defiita, [ lim lim u + o ( )] t j 0, e che per 0 (ovvero per ) possiamo applicare il limite otevole log (1 + ) lim 1. 0

14 legge dei gradi umeri e teorema cetrale limite 14 Ioltre, Ifie ( ) t lim lim u + lim o j u + 0. lim log ϕ Z (u) u, che, ritorado i forma espoeziale, si scrive lim ϕ Z (u) e u. Abbiamo cosí dimostrato che la f.g.m. della ostra V.A. Z el limite corrispode alla f.g.m. di ua distribuzioe Normale, duque la Z é distribuita co legge Normale, N(0, 1). La tesi del teorema segue immediatamete. Il TCL o é solo u fodametale risultato teorico ma ha ache rilevaza per la pratica sperimetale. Molto spesso ua VA puó essere pesata come il risultato fiale degli effetti di molte variabili cocomitati che cotribuiscoo a determiare il valore della variabile cosiderata. Ad esempio, l?altezza di u idividuo é determiata da molti fattori: geetici, alimetari, ambietali. Possiamo descrivere la fluttuazioe dell?altezza idividuale rispetto al valore medio della popolazioe come dovuta ad ua somma di cotributi dovuti a ciascua di queste variabili. Il gra umero di fattori che ifluezao il valore dell?altezza ci porta ad assumere che l?altezza sia distribuita ella popolazioe secodo legge Gaussiaa. I geerale, il TCL é uo strumeto estremamete potete, che cosete per esempio di affrotare lo studio della precisioe di misure sperimetali. Vediamo ifie u semplice esempio di applicazioe pratica del TCL. Esempio 6. U vostro amico asserisce di aver otteuto ua media di 3.5 puti per lacio su 1000 laci di u dado o truccato. Qual é la probabilitá che stia metedo? Soluzioe. Sia X i la VA che deota l esito dell i-simo lacio di dado. Sappiamo che le VA X 1, X,, X 1000 soo idipedeti e ideticamete distribuite co distribuzioe uiforme sull isieme di iteri {1,,, 6} da cui é facile ricavare il valore atteso e la deviazioe stadard E[X i ] 3.5 σ Xi E[Xi ] E[X i]

15 legge dei gradi umeri e teorema cetrale limite 15 I breve, il Teorema Cetrale Limite ci dice che per u umero grade ( ) di V.A. idipedeti e ideticamete distribuite di valore atteso µ e deviazioe stadard σ vale ( ) lim P S µ σ Φ() (1) dove S X i. Nella fattispecie 1000 e S é il umero di puti totalizzati i 1000 laci. Sotto tali ipotesi, la probabilitá che il vostro amico affermi il vero si riduce a calcolare la probabilitá defiita el TCL riscritta come P ( S µ σ ) Φ() () dove S 3.5 X é la media campioaria del campioe di taglia 1000 dichiarata dal vostro amico. I buoa sostaza il TCL. il teorema garatisce che la variabile ridotta Z X µ σ/ sia ua variabile aleatoria la cui fuzioe di distribuzioe tede alla distribuzioe ormale stadard Φ. Pertato, X µ σ/ / La probabilitá che il vostro amico dichiari il vero é duque pari a Φ( 4.69) Ache seza cosultare le tabelle e teedo presete che per la ormale stadard σ 1 e duque z zσ, sigifica che stiamo valutado la probabilitá di u valore di media dichiarata che é di 4.69 deviazioi stadard al di sotto della media µ 3.5. Cosiderado la legge 3σ, é immediatamete evidete che la probabilitá Φ( 4.69) é molto bassa e pertato la probabilitá che che il vostro amico dica il falso molto elevata (1 Φ( 4.69)). Se poi, per scrupolo, si cosultasse la tabella della ormale ridotta, si leggerebbe che Φ( 4.69)