Sistemi Intelligenti Introduzione all inferenza statistica

Transcript

1 Sistemi Itelligeti Itroduzioe all ifereza statistica Alberto Borghese Uiversità degli Studi di Milao Laboratory of Applied Itelliget Systems (AIS-Lab) Dipartimeto di Scieze dell Iformazioe 1/34 Overview Teoria della probabilità e teorema di Bayes Esercizi 2/34 1

2 A A a lim i ) > ai Probabilità lim i > Per il teorema del limite cetrale la frequeza di u eveto su ifiite realizzazioi è uguale alla sua probabilità. Suppoiamo A {a 1, a 2 } La probabilità che si verifichi uo tra tutti i casi possibili è sempre 1. Ovverosia la somma delle probabilità di tutti gli eveti (se mutuamete esclusivi) somma 1. A a 1 A a 2 A a + 1 A a2 A a ) A a ) lim lim 2 + lim > > > 1 A) A a1 ) + A a2) 1 1 3/34 Box {r(ed), b(lue)} Fruit {a(pple), o(rage)} U esempio (apple soo mele verdi) Suppoiamo di predere u frutto alla volta e di sostituirlo co u frutto dello stesso tipo (samplig with replacemet) Suppoiamo di selezioare Box r 40% delle volte e Box b il 60% delle volte. Box r) 0,4 Box b) 0,6 Box) 1 4/34 2

3 Formulazioe statistica Apple Orage Red Blue i y x i X {x i } {blue, red box} Y {y } {apple, orage} trials z i is the sample observed i each trial. i is the umber of trials i which x i ad y were observed. PROBABILITA COGIUTA i, i 5/34 Esempio (80) 4/10 (32) 6/10 (48) 2/8 (8) 6/8 (24) apple orage 5/8 (30) 3/8 (18) apple orage Apple Orage Red Blue x i y i, i, 6/34 3

4 Some questios What is the probability that the selectio procedure will produce a apple? What is the probability that the box selected was the blue oe if we pick up a orage? 7/34 Probabilità cogiuta What is the probability that the blue box is chose ad a apple is selected? 4/10 (32) 6/10 (48) 2/8 (8) 6/8 (24) apple orage 5/8 (30) 3/8 (18) apple orage Apple Orage Red Blue 4/10*2/88/80 8 6/10*5/830/ /10*6/824/ /10*3/818/80-18 x i y i, Xx i ; Yy ) Xb; Ya) 30 / 80 lim+ 8/34 4

5 Probabilità codizioata 4/10 (32) 6/10 (48) 2/8 (8) 6/8 (24) apple orage 5/8 (30) 3/8 (18) apple orage Apple Orage 4/10*2/88/80 8 6/10*5/830/ /10*6/824/ /10*3/818/80-18 x i i Yy X x i ) Ya X b) lim + i Red Blue a, b a, b + o, b 9/34 y 30 5 / Probabilità semplice 4/10 (32) 6/10 (48) 2/8 (8) 6/8 (24) apple orage 5/8 (30) 3/8 (18) apple orage X r) Apple Orage 4/10*2/88/80 8 6/10*5/830/80 30 y 4/10*6/824/ /10*3/818/80-18 x i i, o i Y o) lim / i, a i Y a) lim + 10/ r lim + Red Blue 5

6 Probabilità margiale X r) r lim /10 E la probabilità otteuta sommado le probabilità delle altre variabili (mettedo ai margii), i questo caso la variabile Y (frutto) r, X r) lim X r, Y y ) + i, o i Y o) lim X xi, Y o) Apple Orage + Red Blue 4/10*2/88/80 8 6/10*5/830/ /10*6/824/ /10*3/818/80-18 x i y 11/34 Riassumedo Xx i ; Yy ) Xx i ) Yy X x i ) i, lim + lim + lim + i i, i Xxi ; Yy ) i i i i Probabilità cogiuta Probabilità semplice (margiale) Probabilità codizioata Yy X x i ) Xx i ) i i Xx i ; Yy ) i Xx i Y y ) Yy ) i i 12/34 6

7 I forma più compatta Xx i ; Yy ) X,Y) Probabilità cogiuta Xx i ) X) Probabilità semplice (margiale) Yy X x i ) Y X) X,Y) P (Y X)X) X,Y) P (X Y)Y) Probabilità codizioata X) Y Y) X P ( X, Y ) P ( X, Y ) 13/34 Teorema di Bayes X,Y) P (Y X)X) X Y)Y) Y X ) X ) P (X Y) Y ) 14/34 7

8 Il teorema di Bayes el ostro caso 4/10 6/10 2/8 6/8 5/8 3/8 apple orage apple orage Suppoiamo di cooscere X), probabilità di scelta del box, e la Y X), probabilità di avere ua mela (aracia) se scegliamo u certo box, possiamo determiare la probabilità assoluta (semplice) di scegliere u certo frutto, Y)? Suppoiamo di o cooscere X), probabilità di scelta del box, coosciamo la probabilità Y X) e Y). Possiamo determiare X)? 15/34 Determio Y) Yapple) (2+5) / 16 7/16 Yorage) (6+3)/16 9/16 Yapple X blue) 5/8 Yorage X blue) 3/8 Yapple X red) 2/8 Yorage X red) 6/8 Yapple X blue) + Yorage X blue) 1 Yapple X red) + Yorage X red) 1 4/10 6/10 2/8 6/8 5/8 3/8 apple orage apple orage Yapple) Yapple X blue) Xblue) + Yapple X red) Xred) 5/8*6/10 + 2/8*4/10 38/80 7/16 Yorage) Yorage X blue) Xblue) + Yorage X red) Xred) 3/8*6/10 + 6/8*4/10 42/80 9/16 16/34 8

9 Determio Y) - tabella Apple Orage Red Blue 4/10*2/8 6/10*5/8 4/10*6/8 6/10*3/8 x i y Sommo lugo x, margializzo x. Yapple) 5/8*6/10 + 2/8*4/10 38/80 Yorage) 3/8*6/10 + 6/8*4/10 42/80 Xred) 4/10*2/8 + 4/10*6/8 4/10 Xblue) 6/10*5/8 + 6/10*3/8 6/10 17/34 Determio X Y) P (X Y) Y X ) X ) Y ) 4/10 6/10 2/8 6/8 5/8 3/8 apple orage apple orage Xred Yorage) Yorage Xred) Xred)/Yorage) (6/8*4/10) / (21/40) 24/42 > 4/10 Xblue Yorage) Yorage Xblue) Xblue)/Yorage) (3/8*6/10) / (21/40) 18/42 < 6/10 Xred Yapple) Yapple Xred) Xred) / Yapple) (2/8*4/10) / (19/40) 8/38 << 4/10 Xblue Yapple) Yapple Xblue) Xblue) / Yapple) (5/8*6/10) / (19/40) 30/38 >> 6/10 18/34 9

10 P (X Y) Y X ) X ) Y ) Xred Yapple) 8/38 << 4/10 Xblue Yapple) 30/38 >> 6/10 Iterpretazioe Correggo la probabilità a-priori, X) co le iformazioi raccolte, Y), e ottego ua uova valutazioe della probabilità di X (che dipede da Y), X Y) detta probabilità a-posteriori. Apple Orage Red 4/10 6/10 2/8 6/8 5/8 3/8 apple orage apple orage Blue 4/10*2/88/80 8 6/10*5/830/80 30 x i 19/34 x i 4/10*6/824/ /10*3/818/80-18 y P (X Y) Y X ) X ) Y ) Importaza 4/10 6/10 2/8 6/8 5/8 3/8 apple orage apple orage Questo è u tipico esempio di problema iverso. Raccogliamo delle misure Y e vogliamo determiare da quale sistema (modello probabilistico) possoo essere state geerate. Possiamo iserire delle iformazioi statistiche (a-priori) su X, cioè sulla forma del modello (e.g. smoothess) 20/

11 Overview Teoria della probabilità e teorema di Bayes Esercizi 21/34 Probabilità codizioata Cosideriamo u mazzo di 40 carte: vogliamo valutare quale sia la probabilità che ua carta estratta a caso sia u re. vogliamo valutare quale sia la probabilità che ua carta estratta a caso sia u re, sapedo di avere estratto ua figura. Y) probabilità che sia u re X) probabilità che sia ua figura Y X) 1/3 Y) Y/X) X) 1/3 12/40 4/40 Figura Pr(12/40) RE Pr(1/3)!Figura Pr(28/40 22/

12 Esempio I I ua città lavorao due compagie di taxi: blue e verde: X {T blu, T verde } co ua Distribuzioe di 85% di taxi verdi e 15% di taxi blu. Succede u icidete i cui è coivolto u taxi. U testimoe dichiara che il taxi era blu. Era sera e l affidabilità del testimoe è stata valutata dell 80%. Qual è la probabilità che il taxi fosse effettivamete blu? o è l 80%! 23/34 Esempio - I X {T blu, T verde } Y {C blu, C verde } Icidete Taxi verde Taxi blu Verde Blu Verde XT blue Y blue ) Y blue X blue )X blue ) / Y blue ) Blu X blue ) Probabilità a-priori 0.15 Y blue X blue ) Probabilità codizioata /

13 Esempio - I X {T blu, T verde } Y {C blu, C verde } XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) Icidete Taxi verde Taxi blu Verde Blu Verde Blu Y blu ) Probabilità margiale di Y (probabilità semplice) Y blu X blu )X blu ) + Y blu X verde )X verde ) 0.8* * XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) 0.8*0.15 / /34 Esempio - I X {T blu, T verde } Y {C blu, C verde } XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) Icidete Taxi verde Taxi blu Verde Blu Verde Blu Y blu ) Probabilità margiale di Y (probabilità semplice) Y blu X blu )X blu ) + Y blu X verde )X verde ) 0.8* * XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) 0.8*0.9 / /

14 SW i Matlab 10 XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) ,000 XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) ,000 XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) ,000 XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) ,000,000 XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) Possiamo dare degli itervalli di cofideza? Quato deve essere grade? 27/34 Lo strumeto pricipe per lo screaig per il tumore al seo è la radiografia (mammografia). Defiiamo X la situazioe della doa: X{saa, malata} Defiiamo Y l esito della mammografia: Y{positiva, egativa} La sesitività della mammografia è itoro al 90%: sesitività positive ill Esempio - II > Ypositive Xill) La specificità della mammografia è ach essa itoro al 90%: specificità egative healthy > Yegative Xhealthy) 28/

15 Esempio II X {Healthy, Ill} Y {Positive, egative} Screeig Healthy Ill Positive egative Positive egative XIll YPositive) YPositive XIll)XIll) / YPositive) YPositive XIll) 0.9 * YPositive YPositive XIll) + YPositive XHealthy) * /34 Esempio - II YPositive YPositive XIll) + YPositive XHealthy) * % di probabilità di avere u esame positivo a frote di uo 0.01% di doe malate! Solo lo 0,9% proviee da doe effettivamete malate, le altre soo false positive Ifatti il PPV (Positive Predictive Value) è: XIll YPositive) YPositive XIll)XIll) / YPositive) 0.09 / (8.3%) Solo 8.3% delle doe co mammografia positiva soo effettivamete ammalate. Aalizzado la formula del teorema di Bayes, dove ha seso ivestire per otteere u redimeto delle screeig maggiore? 30/

16 Esempio II X {Healthy, Ill} Y {Positive, egative} Screeig Healthy Ill Positive YPositive XIll) 0.9 * egative Positive egative YPositive YPositive XIll) + YPositive XHealthy) * XIll YPositive) YPositive XIll)XIll) / YPositive) / ,6% >> 8.3% 31/34 Esempio II X {Healthy, Ill} Y {Positive, egative} 0.99 Screeig Healthy Ill 0.01 Positive YPositive XIll) 0.99 * egative Positive egative YPositive YPositive XIll) + YPositive XHealthy) * XIll YPositive) YPositive XIll)XIll) / YPositive) / % > 8.3%. 32/

17 Riepilogo P (X Y) Y X) X) X, Y) Teorema di Bayes Y) Y) Lega probabilità codizioate, cogiute, semplici (margiali) Cosete di iferire la probabilità di u eveto, X, a partire dalla probabilità associata alla frequeza di ua certa misura, Y), dalla probabilità che lega la misura all eveto, associata alla frequeza relativa dell eveto associato alla misura, Y X), e dalla probabilità ota a-priori, X), dell eveto. La probabilità X Y) viee per questo detta probabilità a-posteriori. Viee utilizzata ei problemi iversi. 33/34 Overview Teoria della probabilità e teorema di Bayes Esercizi 34/