APPUNTI 1 SU: DISTRIBUZIONI CONGIUNTE, COVARIANZA E RETTA DI REGRESSIONE 1 Distribuzioni congiunte Spesso nelle applicazioni si e portati a considerar

Transcript

1 APPUNTI 1 SU: DISTRIBUZIONI CONGIUNTE, COVARIANZA E RETTA DI REGRESSIONE 1 Dstrbuzon congunte Spesso nelle applcazon s e portat a consderare p u quantt a aleatore e a confrontarne l comportamento. C o motva l'ntroduzone della nozone d dstrbuzone congunta. Sa, al solto, (Ω; P) uno spazo d probablt a, ovvero Ω e uno spazo camponaro e P :Ω! [0; 1] e una (msura d) probablt a suω. Su Ω sano defnte due varabl aleatore (v.a.) dscrete e Y : ; Y :! Ω 7! (!);Y(!) R: Denotamo con E = fx 1 ;:::;x k g (o E = fx 1 ;x ;:::g) e con E Y = fy 1 ;:::;y m g (o E Y = fy 1 ;y ;:::g)) l'nseme de valor ammssbl per e Y rspettvamente. Rcordamo brevemente che la legge o dstrbuzone d edy sono date dalle funzon p e p Y, rspettvamente, che ad ogn valore ammssble assocano la probablt a con la quale possono verfcars: p (x) =Pf = xg p Y (y) =PfY = yg x E y E Y S consder ora l'applcazone (; Y ):Ω! R ;! 7! ((!);Y(!)): L'mmagne d tale applcazone e l'nseme delle coppe (x; y) E E Y.S defnsce legge o dstrbuzone congunta delle v.a. e Y l'applcazone p(x; y) =Pf = x; Y = yg che ad ogn coppa (ammssble) (x; y) E E Y assoca la probablt a con la quale tale coppa pu o essere assunta. Vedremo nel seguto che tale nozone s rvela estremamente mportante eche permette d rsolvere numeros problem. Osservamo dapprma che la legge congunta d e Y consente d dedurre le legg d edy, dettelegg o dstrbuzon margnal. Infatt, per la formula delle probablt a total, fssato x E,sha p (x )=Pf = x g = j Pf = x ;Y = y j g = j p(x ;y j ) (1) 1 Queste note sono la traduzone d parte delle lezon tenute da Proff. Paolo Bald e Ncole El Karou all'unverst a Perre et Mare Cure (Pars VI) nell'a.a. 1995/'9. 1

2 La legge (margnale) d n x s calcola dunque a partre dalla legge congunta, congelando" la prma varable, x, e saturando" rspetto a tutt possbl valor che pu o assumere la Y,ovvero sommando p(x ;y j ) su tutt possbl y j. Dscorso analogo rguardo l calcolo della legge (margnale) d Y : fssato y j E Y, p Y (y j )=PfY = y j g = p(x ;y j ) () Esempo 1. S consder un'urna contenente pallne numerate da 1 a ; se ne estraggano con rensermento: sano 1 e due numer ottenut. S vuole calcolare la dstrbuzone congunta d 1 e. I valor ammssbl per la coppa ( 1 ; ) sono dat dalle coppe (; j), al varare d ; j nell'nseme f1;:::;g. S tratta qund d 3 possbl valor e, poché ogn coppa e equprobable, cascuna coppa ha probablt a 1 3 d verfcars. Qund, E (1 ; ) = f1;:::;g. E possble vsualzzare la stuazone de due tr come nella Fgura 1, n cu denotano valor possbl Fgura 1 Inseme de valor ammssbl per la coppa ( 1; ). Prese sngolarmente, le due v.a. 1 e possono assumere valor nell'nseme f1;:::;g e cascun valore e assunto con probabablt a 1 (eserczo!). C o sgnfca che le dstrbuzon margnal d 1 e sono unform nell'nseme f1;:::;g. Supponamo ora che le due estrazon sano effettuate senza rensermento, e denotamo con Y 1 e Y l rsultato della prma e della seconda estrazone rspettvamente. Ivalor ammssbl per la coppa (Y 1 ;Y ) non sono p u gl stess perché, ad esempo, la coppa (1; 1) non pu o p u verfcars. Infatt, possbl rsultat sono dat dalle coppe (; j) tal che ; j f1;:::;g ma con = j. S tratta dunque d 30(= 3 possbl coppe coppe dentche)

3 valor ammssbl, tutt equprobabl, che dunque possono verfcars cascuno con probablt a 1. Qund, E 30 (Y 1 ;Y ) = f(; j) : = j; ; j f1;:::;gg. La legge congunta d Y 1 e Y equnddatada ( 1 se ; j =1;:::;e= j 30 p(; j) = 0 altrment La Fgura vsualzza tutt possbl rsultat d questo secondo espermento. Ancora una volta, smbol denotano tutt possbl valor per la coppa (Y 1 ;Y ), che possono essere assunt con probablt a Fgura Valor ammssbl per (Y 1;Y ). Usando le formule (1) e (), e possble calcolare le dstrbuzon d Y 1 e d Y come dstrbuzon margnal della loro legge congunta. La somma n (1) per x =1; ; 3; 4; 5; contene 5 termn ugual a 1. Ad esempo, per 30 x =3, p Y1 (3) = p(3; 1) + p(3; ) + p(3; 4) + p(3; 5) + p(3; ) = 1 dunque la legge d Y 1 e la legge unforme su f1;:::;g. Usando la (), s verfca faclmente (eserczo!) che anche Y ha dstrbuzone unforme su f1;:::;g. Tale rsultato non e sorprendente per Y 1 (la probablt a che alla prma estrazone s ottenga la pallna numero e ovvamente 1, per ogn =1; ; 3; 4; 5; ) ma lo e un po' meno per Y... Le legg margnal sono dunque dentche, sa che le estrazon vengano effettuate con rensermanto sa che le pallne vengano estratte senza rensermento. L'esempo precedente mostra che e possble avere due dstrbuzon congunte dverse avent le medesme dstrbuzon margnal. C o sgnfca che 3

4 non e possble, n generale, stablre quale sa l comportamento congunto d due v.a. noto l comportamento d ognuna d esse prese sngolarmente. Al contraro, la dstrbuzone congunta consente sempre d determnare le due dstrbuzon margnal, a partre dalle (1) e (). L'esempo che segue mostra un partcolare utlzzo della dstrbuzone congunta. Esempo. Da un'urna contenente pallne numerate da 1 a vengono effettuate due estrazon senza rensermento. Qual e la probablt a che rsultat delle due estrazon dfferscano al p u d? E se le estrazon fossero state effettuate con rensermento? Usando le notazon dell'esempo 1, s tratta d calcolare PfjY 1 Y j»g. Tale probablt a spu o rscrvere come Pf(Y 1 ;Y ) Ag, dove A e la regone del pano f(x 1 ;x ); jx 1 x j»g. Dunque, la probablt a rchesta e data da p(; j) (3) (;j)a dove p denota la dstrbuzone congunta d (Y 1 ;Y ), calcolata nell'esempo 1. La regone A e data dalla strsca compresa tra le rette d equazone x = y + e x = y, dsegnate nella Fgura 3. In A s trovano 18 valor ammssbl per la coppa (Y 1 ;Y ) e poché cascuna coppa ha probablt a 1 18, la somma n (3) vale = Fgura 3 L'nseme A e dato dall'ntersezone della strsca compresa tra le due rette dsegnate n fgura e l'nseme de valor ammssbl Se le estrazon fossero state effettuate con rensermento, l procedmento sopra descrtto sarebbe comunque valdo, ma n tal caso A conterrebbe 4(= 18 + ) valor possbl, cascuno verfcable con probablt a 1. C o sgnfca 3 che, sotto tale potes, la probablt a dell'evento n questone sarebbe. 3 4

5 Un'altra stuazone nella quale la nozone d dstrbuzone congunta e crucale e la seguente: se e Y denotano due v.a., d legge congunta p, qual e la legge d + Y? S ha = j Pf + Y = tg = Pf = t y j ;Y = y j g = j j Pf + Y = t; Y = y j g p(t y j ;y j )= (x ;x j ):x +y j =t p(x ;y j ) Tale formula permette d calcolare esplctamente la dstrbuzone della v.a. + Y ed ha una grande mportanza teorca perché mostra che la legge d + Y non dpende dalle margnal ma solo dalla dstrbuzone congunta: se 0 e Y 0 sono due v.a. che hanno stessa legge (congunta) p allora la dstrbuzone d 0 + Y 0 e la stessa d + Y. Covaranza e correlazone Sano e Y due v.a. S vuole determnare una formula per la varanza d + Y. S ha dove = E h( E []) + E Var( + Y )=E ( + Y ) E [ + Y ] Λ = h = E ( E[]) + (Y E [Y ]) = h h(y E [Y ]) +E ( E [])(Y E[Y ]) =Var() +Var(Y )+Cov(; Y ) = (4) Cov(; Y )=E ( E [])(Y E[Y ]) Λ (5) La quantt a Cov(; Y ) prende l nome d covaranza d e Y. Un'altra espressone per la covaranza (spesso p u utle ne calcol) e la seguente: Cov(; Y )=E ( E [])(Y E[Y ]) Λ = = E Y E [Y ] Y E [] +E[]E [Y ] Λ = = E [Y ] E[] E [Y ] () dove, rcordamo, E[Y ]= ;j x x j p(x ;x j ): Sappamo che se e Y sono ndpendent allora E[Y ] = E[]E [Y ], dunque Cov(; Y )=E[Y ] E []E[Y ]=0 (7) 5

6 In tal caso, Var( + Y ) = Var() +Var(Y ). Per l caso d m v.a. segue faclmente (eserczo!) Var( m )= m =1 ese 1 ;:::; m sono ndpendent, allora Var( )+ =j Cov( ; j ) (8) Var( m )=Var( 1 )+ +Var( m ) (9) Dunque, la varanza della somma d v.a. ndpendent e data dalla somma delle varanze. Cerchamo ora d capre l sgnfcato della covaranza d due v.a. Abbamo appena vsto che la covaranza d due v.a. ndpendent e zero. Sfortunatamente, l'nverso e falso (se cos non fosse, nfatt, s potrebbe usare tale rsultato per una verfca, tutto sommato non dffcle dal punto d vsta computazonale, dell'ndpendenza d due v.a.). Mostramo qu d seguto un controesempo. Esempo 3. Sa una v.a. dstrbuzone p (0) = ff; che pu o assumere valor f 1; 0; +1g, con p ( 1) = p (+1) = f con ff; f > 0, ff +f = 1. S not che E [] = 0. Sa ora Y defnta nel modo seguente: Y = 1 se = 0, Y = 0 se = 0. Mostramo che Cov(; Y ) = 0. Infatt, e mmedato verfcare che Y = (eserczo!), dunque E[Y ]= E [] = 0.Allora, Ma, e Y non sono ndpendent: Cov(; Y )=E [Y ] E [] E [Y ]=0: 0=P( =0;Y =1)= P( =0)P(Y =1)=ff f: Se Cov(; Y ) = 0, dremo che e Y sono non correlate. In ogn caso, c s pu o servre della covaranza per dare una msura dell'ndpendenza d due v.a.: valor della covaranza vcn a zero sgnfcano che le due v.a. sono quas ndpendent; vceversa, valor grand (n valore assoluto) della covaranza ndcano la presenza d una forte dpendenza tra le due v.a. Il prossmo esempo mostra la relazone che lega la covaranza postva e negatva con l concetto d dpendenza" tra due v.a. Esempo 4. (Retta d regressone) Sano e Y due v.a. sullo stesso spazo d probablt a (Ω;P). S vuole trovare la mglore approssmazone possble della Y tramte una funzone lneare della. In altre parole, s cercano due numer a; b R tal che a + b approssma Y nel mglor modo possble.

7 Un problema d questo tpo appare, ad esempo, quando s vuole stmare una quantt a Y che non e osservable drettamente. S consder, a ttolo d esempo, l caso n cu Y e un segnale e e un'osservazone dsturbata" (vale a dre, e uguale a Y p u un errore dovuto all'osservazone). Il prmo problema consste nel defnre un crtero d ottmalt a: che sgnfcato s vuole dare a mglore approssmazone possble"? Ovvamente, occorre partre dalla dstanza tra a + b e Y, ovvero da ja + b Y j. Poch e per o lavorare con modul pu o essere oneroso n termn d calcol, s prefersce consderare (a +b Y ). Ora, tale quantt a e aleatora e l problema che e stato posto e determnstco": numer a e b che s cercano non sono aleator. Per tale ragone, s consdera l valore atteso d (a + b Y ). Dunque, l crtero d ottmalt a scelto e l seguente: s voglono determnare due numer a e b tal da mnmzzare (a; b) 7! E h(a + b Y ) (va detto che esstono altr crter d ottmzzazone, che qu non saranno pres n consderazone). Denotamo, per semplct a, μ = E ();ν = E (Y ). Allora, E h(a + b Y ) = E h(a( μ)+(b + aμ) (Y ν) ν) h((a( μ) (Y ν)) + (b + aμ ν)) = E = E h(a( μ) (Y ν)) +(b + aμ ν) h +(b + aμ ν)e a( μ) (Y ν) = I 1 + I + I 3 Osservamo che l termne I 3 enullo perché h h E a( μ) (Y ν) = E a( μ) = a(e () μ) (E (Y ) ν) =0 h E Y ν Comncamo con l cercare l valore d a che mnmzza I 1 : I 1 = E h(a( μ) (Y ν)) = h = a E ( μ) ]+E h h(y ν) ae ( μ)(y ν) = a Var() acov(; Y )+Var(Y ): Il mnmo d questo trnomo e raggunto nel punto = a Λ = Cov(; Y ) Var() (10) 7

8 Cerchamo ora l valore d b che mnmzza I, calcolato sul valore d a appena trovato: b Λ = ν a Λ μ = E (Y ) a Λ E () S defnsce retta d regressone la retta d equazone y = a Λ x + b Λ dove a Λ e b Λ sono numer appena determnat. Qund, l'equazone della retta d regressone e y = Cov(; Y ) Var() (x E[]) + E[Y ]. Fgura 4 S suppone, qu e nel grafco successvo, che punt dsegnat n fgura rappresentno valor ammssbl per la coppa (; Y ), ognuno de qual pu o essere assunto con la stessa probablt a. Qu la retta d regressone ha un coeffcente angolare negatvo e la correlazone e negatva. S not che Y ha tendenza ad assumere valor p u pccol quando e grande. S not che la retta d regressone non e smmetrca", ovvero scambando ruol ad e Y camba anche la retta d regressone. Inoltre, l coeffcente angolare della retta d regressone ha lo stesso segno della covaranza (perché Var() e sempre postva). C o ndca che, se la covaranza e postva, Y tende ad assumere valor grand n corrspondenza d valor grand della. Tale propret a e detta d dpendenza postva. Al contraro, se la covaranza e negatva, Y tende ad assumere valor pccol n corrspondenza d valor grand della e n tal caso s dce che c' e dpendenza negatva tra le due v.a. Ad esempo, se s volesse creare un modello che legh la relazone tra l peso e l'altezza Y d un ndvduo preso a caso da una popolazone, c s aspetta una covaranza postva tra queste due v.a. perché ndvdu alt hanno la tendenza ad essere p u pesant (c o non togle che possano esstere ndvdu alt e legger oppure bass e molto pesant, event che, n 8

9 generale, hanno probablt a d verfcars molto bassa). C s attende una covaranza negatva quando s consderno quantt a aleatore che hanno un effetto anttetco' l'una sull'altra.. Fgura 5 Qu n corrspondenza d valor grand per s osservano valor puttosto grand anche per Y. La covaranza e postva. Abbamo appena vsto come la covaranza possa essere utlzzata per msurare la dpendenza d due v.a. In realt a c o non e del tutto vero perché la covaranza presenta un dfetto: Cov(a; by )=abcov(; Y ) C o sgnfca che la covaranza tra due v.a. e strettamente legata all'unt a d msura: la covaranza camba se s camba l'unt a d msura con la quale le v.a. e Y sono state msurate. Per tale ragone, s ntroduce la seguente quantt a: ρ ;Y = Cov(; Y ) p Var()Var(Y ) (11) ρ ;Y e detto coeffcente d correlazone d e Y e non dpende da cambament d msurazone, co e (eserczo!) ρ a;by = ρ ;Y per ogn a > 0;b > 0 (se ab < 0, l coeffcente d correlazone camba segno: eserczo!). La proposzone che segue asscura che 1» ρ ;Y» 1 9

10 Proposzone 1. Vale la seguente dsuguaglanza, detta dsuguaglanza d Cauchy-Schwartz: E [Y ]» E[ ]E [Y ] Dmostrazone. poché l valore atteso d una v.a. non negatva e sempre non negatvo, per ogn # R s ha 0» E [(# + Y ) ]=# E [ ]+#E [Y ]+E [Y ] Tale dsuguaglanza e vera per ogn # R: l trnomo #! # E [ ]+ #E [Y ]+E[Y ] non pu o assumere valor negatv e dunque l suo dscrmnante deve necessaramente essere mnore d 0, l che sgnfca E [Y ] E [ ]E [Y ]» 0 La Proposzone 1 applcata alle v.a. E[] et Y E[Y ]d a Cov(; Y ) = E ( E [])(Y E[Y ]) Λ»» E ( E[]) Λ E (Y E [Y ]) Λ =Var()Var(Y ) e qund ρ ;Y» 1. Come abbamo vsto, la condzone d non correlazone e n realt a molto p u debole d quella d ndpendenza, ma e anche p u facle da verfcare per cu e abbastanza usata nella pratca come forma debole d ndpendenza. 10