Sistemi Intelligenti Introduzione al calcolo delle probabilità - II

Transcript

1 Sstem Intellgent Introduzone al calcolo delle probabltà - II Alberto Borghese Unverstà degl Stud d Mlano Laborator of Appled Intellgent Sstems (AIS-Lab) Dpartmento d Informatca borghese@d.unm.t A.A /34

2 Overvew Esemp sul teorema d Baes Denstà d probabltà Stma alla massma verosmglanza A.A /34

3 Teorema d Baes P(X,Y) P (Y X)P(X) P(X Y)P(Y) P (X Y) P( Y X ) P( X P( Y ) ) X causa Y effetto P (causa effetto) P( Effetto Causa) P( Causa) P( Effetto) We usuall do not know the statstcs of the cause, but we can measure the effect and, through frequenc, buld the statstcs of the effect or we know t n advance. A doctor knows P(Smptons Causa) and wants to determne P(Causa Smptoms) A.A /34

4 Probabltà condzonata Consderamo un mazzo d 40 carte: voglamo valutare quale sa la probabltà che una carta estratta a caso sa un re (probabltà semplce) voglamo valutare quale sa la probabltà che una carta estratta a caso sa un re, sapendo d avere estratto una fgura (probabltà condzonata) P(Y) probabltà che sa un re P(X) probabltà che sa una fgura P(Y X) /3 P(Y) P(Y/X) P(X) /3 /40 4/40 Fgura Pr(/40)!Fgura Pr(8/40 A.A RE Pr(/3) 4/34

5 Esempo I In una cttà lavorano due compagne d tax: blue e verde: X {T blu, T verde } con una Dstrbuzone d 85% d tax verd e 5% d tax blu. Succede un ncdente n cu è convolto un tax. Un testmone dchara che l tax era blu. Era sera e l affdabltà del testmone è stata valutata dell 80%. Qual è la probabltà che l tax fosse effettvamente blu? on è l 80%! A.A /34

6 Esempo - I X {T blu, T verde } Causa Y {C blu, C verde } Effetto Incdente Tax verde Tax blu Colore Verde Colore Blu Colore Verde Colore Blu P(XT blue Y blue ) P(Y blue X blue )P(X blue ) / P(Y blue ) P(X blue ) Probabltà a-pror 0.5 P(Y blue X blue ) Probabltà condzonata 0.8 A.A /34

7 Esempo - I X {T blu, T verde } Y {C blu, C verde } Inverto la relazone tra causa ed effetto applcando Baes: P(XT blu Y blu ) P(Y blu X blu )P(X blu ) / P(Y blu ) Incdente Tax verde Tax blu Colore Verde Colore Blu Colore Verde Colore Blu P(Y blu ) Probabltà margnale d Y (probabltà semplce) P(Y blu X blu )P(X blu ) + P(Y blu X verde )P(X verde ) 0.8* * > 0.5!! P(XT blu Y blu ) P(Y blu X blu )P(X blu ) / P(Y blu ) 0.8*0.5 / Pesano anche gl error commess quando l testmone vede un tax verde! A.A /34

8 Esempo - I Cambo la dstrbuzone de tax X {T blu, T verde } Y {C blu, C verde } P(XT blu Y blu ) P(Y blu X blu )P(X blu ) / P(Y blu ) Incdente Tax verde Tax blu Colore Verde Colore Blu Colore Verde Colore Blu P(Y blu ) Probabltà margnale d Y (probabltà semplce) P(Y blu X blu )P(X blu ) + P(Y blu X verde )P(X verde ) 0.8* * P(XT blu Y blu ) P(Y blu X blu )P(X blu ) / P(Y blu ) 0.8*0.9 / A.A /34

9 Affdabltà della stma - SW n Matlab 0 P(XT blu Y blu ) P(Y blu X blu )P(X blu ) / P(Y blu ) P(XT blu Y blu ) P(Y blu X blu )P(X blu ) / P(Y blu ) 0.335,000 P(XT blu Y blu ) P(Y blu X blu )P(X blu ) / P(Y blu ) 0.4 0,000 P(XT blu Y blu ) P(Y blu X blu )P(X blu ) / P(Y blu ) ,000 P(XT blu Y blu ) P(Y blu X blu )P(X blu ) / P(Y blu ) 0.473,000,000 P(XT blu Y blu ) P(Y blu X blu )P(X blu ) / P(Y blu ) Possamo dare degl ntervall d confdenza? Quanto deve essere grande per ottenere una certa confdenza? A.A /34

10 Estensone a pù varabl P(X Y ;Y ) f (P(Y ) and P(Y ) then P(X) x Z Y and Y mal ddent!mal ddent cavtà!cavtà cavtà!cavtà care 0,08 0,0 0,07 0,008!care 0,06 0,064 0,44 0,576 Dalla tabella delle probabltà congunte rcavamo: P(care; Z) P(mal d dent; cavtà) 0,08 P(care Z) P(care ; Z) / P(Z) 0,08 / 0,4 0,87 A.A /34

11 Estensone a pù varabl P(X Y ;Y ) f (P(Y ) and P(Y ) then P(X) x Z Y and Y mal d dent!mal d dent cavtà!cavtà cavtà!cavtà care 0,08 0,0 0,07 0,008!care 0,06 0,064 0,44 0,576 Applchamo l teorema d Baes P(X Y and Y ) P(Y and Y X) * P (X) Abbamo bsogno d conoscere come s comporta Z per ogn valore d X, coè (Mal d dent and Cavtà) n funzone d Care. Dventa dffcoltoso quando le varabl dventano tante: per capre se c è una care possamo msurare anche: ragg-x, gente orale... A.A /34

12 Condtonal ndependence P(X Y and Y ) P(Y and Y X) * P (X) Introducamo un altra potes. Cosa succede se Y e Y sono ndpendent? Dpendono entrambe da X ma non dpendono tra d loro. Sono coè condzonatamente ndpendent, coè vale che: P(Y and Y X) * P (X) P(Y X) * P(Y X) In questo caso: P(cavtà and mal d dent care) P(cavtà care) * P(mal d dent care) che dventa pù trattable. P(Care ; cavtà ; mal d dent) P(Care) [P(Cavtà Care)*P(Mal d dent care) Modello ave Baes Gl effett sono ndpendent tra loro e dpendono da una stessa causa In generale: P(Causa Effetto and Effetto and... Effetto ) A.A P( Effetto Causa) /34

13 Condtonal ndependence at work P(X Y ;Y ) f (P(Y ) and P(Y ) then P(X) x mal d dent!mal d dent cavtà!cavtà cavtà!cavtà care 0,08 0,0 0,07 0,008!care 0,06 0,064 0,44 0,576 P(X Y and Y ) P(Y and Y X) * P (X) / (P(Y ) and P(Y )) P(care cavtà and mal d dent) P(cavtà and mal d dent and care) / P(cavtà and mal d dent) 0,08 / 0,4 87,% P(care cavtà and mal d dent) P(cavtà and mal d dent care) * P(care) / P(cavtà and mal d dent) P(care cavtà and mal d dent) P(cavtà care) * P(mal d dent care) * P(care) / (P(cavtà) and P(mal d dent)) P(cavtà care) 0,8 / 0, 0,9 P(care) 0, P(mal d dent care) 0, / 0, 0,6 P(care cavtà and mal d dent) (0,9* 0,6 * 0,) / (0,4) 87,% A.A /34

14 Esempo - II Lo strumento prncpe per lo screanng per l tumore al seno è la radografa (mammografa). Defnamo X la stuazone della donna: X{sana, malata} Defnamo Y l esto della mammografa: Y{postva, negatva} La senstvtà della mammografa è ntorno al 90%: npostve senstvtà > P(Ypostve Xll) ll La specfctà della mammografa è anch essa ntorno al 90%: nnegatve specfctà > P(Ynegatve Xhealth) health A.A /34

15 X {Health, Ill} Y {Postve, egatve} Esempo II 0.99 Screenng 0.0 Health Ill Postve egatve Postve egatve P(YPostve XIll) 0.9 * P(YPostve XIll) 0.* P(YPostve) P(YPostve XIll) + P(YPostve XHealth) % d probabltà d avere un esame postvo a fronte d uno 0.0% d donne malate! Solo lo 0,9% provene da donne effettvamente malate, le altre sono false postve A.A /34

16 Esempo - II Qual è la probabltà che una donna sa veramente malata se l test rsulta postvo? Applchamo Baes: P(XIll YPostve) P(YPostve XIll)P(XIll) / P(YPostve) P(X Ill) 0.0 Il PPV (Postve Predctve Value) è: P(XIll YPostve) P(YPostve XIll)P(XIll) / P(YPostve) 0.09 / (8.3%) Solo 8.3% delle donne con mammografa postva sono effettvamente ammalate. Analzzando la formula del teorema d Baes, dove ha senso nvestre per ottenere un rendmento delle screenng maggore? A.A /34

17 X {Health, Ill} Y {Postve, egatve} Esempo II 0.99 Screenng 0.0 Health Ill Postve P(YPostve XIll) 0.9 * egatve Postve egatve P(YPostve P(YPostve XIll) + P(YPostve XHealth) * P(XIll YPostve) P(YPostve XIll)P(XIll) / P(YPostve) / ,6% >> 8.3% A.A /34

18 X {Health, Ill} Y {Postve, egatve} Esempo II 0.99 Screenng Health Ill 0.0 Postve egatve Postve egatve P(YPostve XIll) 0.99 * P(YPostve P(YPostve XIll) + P(YPostve XHealth) * P(XIll YPostve) P(YPostve XIll)P(XIll) / P(YPostve) / % > 8.3%. A.A /34

19 Replogo P (X Y) P( Y X) P( X) P( Y) P( X, Y) P( Y) Teorema d Baes Lega probabltà condzonate, congunte, semplc (margnal) Consente d nferre la probabltà d un evento causa, X, a partre dalla probabltà assocata alla frequenza d una certa msura, effetto, P(Y), dalla frequenza relatva dell evento assocato alla msura, P(Y), e dalla probabltà nota a-pror, P(X), della causa. La probabltà P(X Y) vene per questo detta probabltà a-posteror ed è una probabltà condzonata. Vene utlzzata ne problem nvers. A.A /34

20 Overvew Esemp sul teorema d Baes Denstà d probabltà Stma alla massma verosmglanza A.A /34

21 La probabltà nel caso contnuo Y P(x) / X {punteggo dado} p(x) x + x + p( x) dx A.A x+ x P ( x [ x, x + x]) p( x) dx x x x + x X C 0 /34

22 Defnzone d p(x) Caso dscreto: prescrzone della probabltà per ognuno de fnt valor che la varable X può assumere: P(X). Caso contnuo: valor che X può assumere sono nfnt. Devo trovare un modo per defnrne la probabltà. Descrzone analtca medante la funzone denstà d probabltà. S consdera la probabltà che x cada n un certo ntervallo. Valgono le stesse relazon del caso dscreto, dove alla somma s sosttusce l ntegrale. x+ x + P ( X x [ x, x + x]) p( x, ) dxd x A.A /34

23 Dstrbuzon notevol: la Gaussana p(x,) p ( x, ) x exp ( ) D πσ Σ D dmensone, n questo caso D Pr( X- < ) Pr( X- < ) P(x,) Pr( X- < 3) A.A /34

24 I moment d una varable statstca k + ( X ) k ( x a) p( x) dx Momento rspetto ad a, soltamente alla meda E + [ X ] x p(x) Valore atteso (Expeted value) d X meda dstrbuzone + [ ] ( X ) ( x ) E p( x) Varanza ( ) + [ ] 3 ( X ) ( x ) E p( x) 3 Asmmetra + 4 Kurtos peso delle code d p(x) [ ] 4 ( X ) ( x ) E p( x) A.A /34

25 Overvew Esemp sul teorema d Baes Denstà d probabltà Stma alla massma verosmglanza A.A /34

26 6/34 A.A ozon d base Varabl ndpendent: p(, ) p( )p( ) Gaussana: sano date due realzzazon ndpendent della stessa varable casuale Y Quale è la probabltà d msurare nella prma realzzazone e nella seconda realzzazone (estrazone con rpetzone)? ( ) ( ) ( ) ( ) ( ) exp exp,,,, exp, exp, π π π π p p p p p Il rsultato dpende da parametr della Gaussana che descrve l errore d msura: e. Qual è l valore pù ragonevole per e?

27 Funzone d verosmglanza Sano date varabl casual ndpendent Quale è la probabltà d msurare l vettore [,, ]? p (,..., ) p( ) p( )... p( ) L(,,..., ), E l prodotto delle probabltà semplc. Questa è la Funzone d verosmglanza o funzone d Lkelhood, L(.) A.A /34

28 Funzone d verosmglanza (rassunto) Data una sere d msure d varabl casual ota la dstrbuzone statstca dell errore sulla msura espressa come denstà d probabltà d cascuna varable casuale Sotto l potes che le varabl sano tra loro ndpendent E possble scrvere la funzone d verosmglanza come l prodotto delle probabltà d cascuna msura. A.A /34

29 9/34 A.A Stma alla massma verosmglanza caso Gaussano Supponamo l vettore corrsponda a realzzazon d una varable Gaussana a meda, devazone standard ( msure ndpendent d una stessa quanttà) La funzone verosmglanza dpende da e che non sono note a-pror. Quale sarà l valore pù verosmle per e? ( ) ( ) ( ) ( ) exp... exp...,,...,, π π p p p L

30 Stma alla massma verosmglanza Se massmzzamo LL(,) rspetto a e trovamo parametr, tal per cu è massma la probabltà d msurare l vettore d dat {, }. Stma alla massma verosmglanza. Pù n generale, le varabl possono avere denstà d probabltà dverse, cascuna descrtta da un set d parametr. I parametr delle dverse denstà d probabltà possono essere calcolat utlzzando l approcco alla massma verosmganza La funzone d verosmglanza dpende da parametr che defnscono le denstà d probabltà delle varabl casual che entrano nella verosmglanza Massmzzando la funzone d verosmglanza rspetto a tal parametr se ne effettua la stma n modo tale che l vettore osservato { } sa massmamente probable (massma verosmglanza). A.A /34

31 3/34 A.A Stma alla massma verosmglanza Il caso gaussano E soltamente pù facle mnmzzare l logartmo negatvo della verosmglanza, f(.), (prodotto sommatora) ( ) ( ) [ ] ( ) ( ) + + L f ln ln exp ln exp ln,,...,, ln,,...,, π π π

32 3/34 A.A Determno Per trovare l mnmo, ponamo a zero le dervate: ( ) ( ) ( ) ( ) ( ) f ln ln,..., π Meda camponara!

33 33/34 A.A Per trovare l mnmo, ponamo a zero le dervate: ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) f ln ln,,...,, π Varanza camponara! Determno

34 Overvew Esemp sul teorema d Baes Denstà d probabltà Stma alla massma verosmglanza A.A /34