Sistemi Itelligeti Itroduzioe all ifereza statistica Alberto Borghese Uiversità degli Studi di Milao Laboratory of Applied Itelliget Systems (AIS-Lab) Dipartimeto di Scieze dell Iformazioe borghese@di.uimi.it 1/34 http:\\borghese.di.uimi.it\ Overview Teoria della probabilità e teorema di Bayes Esercizi 2/34 http:\\borghese.di.uimi.it\ 1
A A a lim i ) > ai Probabilità lim i > Per il teorema del limite cetrale la frequeza di u eveto su ifiite realizzazioi è uguale alla sua probabilità. Suppoiamo A {a 1, a 2 } La probabilità che si verifichi uo tra tutti i casi possibili è sempre 1. Ovverosia la somma delle probabilità di tutti gli eveti (se mutuamete esclusivi) somma 1. A a 1 A a 2 A a + 1 A a2 A a ) A a ) lim lim 2 + lim > > > 1 A) A a1 ) + A a2) 1 1 3/34 http:\\borghese.di.uimi.it\ Box {r(ed), b(lue)} Fruit {a(pple), o(rage)} U esempio (apple soo mele verdi) Suppoiamo di predere u frutto alla volta e di sostituirlo co u frutto dello stesso tipo (samplig with replacemet) Suppoiamo di selezioare Box r 40% delle volte e Box b il 60% delle volte. Box r) 0,4 Box b) 0,6 Box) 1 4/34 http:\\borghese.di.uimi.it\ 2
Formulazioe statistica Apple Orage Red Blue i y x i X {x i } {blue, red box} Y {y } {apple, orage} trials z i is the sample observed i each trial. i is the umber of trials i which x i ad y were observed. PROBABILITA COGIUTA i, i 5/34 http:\\borghese.di.uimi.it\ Esempio (80) 4/10 (32) 6/10 (48) 2/8 (8) 6/8 (24) apple orage 5/8 (30) 3/8 (18) apple orage Apple Orage Red Blue 8 30 24 18 x i y i, 8 + 24 + 30 + 18 80 i, 6/34 http:\\borghese.di.uimi.it\ 3
Some questios What is the probability that the selectio procedure will produce a apple? What is the probability that the box selected was the blue oe if we pick up a orage? 7/34 http:\\borghese.di.uimi.it\ Probabilità cogiuta What is the probability that the blue box is chose ad a apple is selected? 4/10 (32) 6/10 (48) 2/8 (8) 6/8 (24) apple orage 5/8 (30) 3/8 (18) apple orage Apple Orage Red Blue 4/10*2/88/80 8 6/10*5/830/80 30 4/10*6/824/80-24 6/10*3/818/80-18 x i y i, Xx i ; Yy ) Xb; Ya) 30 / 80 lim+ 8/34 http:\\borghese.di.uimi.it\ 4
Probabilità codizioata 4/10 (32) 6/10 (48) 2/8 (8) 6/8 (24) apple orage 5/8 (30) 3/8 (18) apple orage Apple Orage 4/10*2/88/80 8 6/10*5/830/80 30 4/10*6/824/80-24 6/10*3/818/80-18 x i i Yy X x i ) Ya X b) lim + i Red Blue a, b a, b + o, b 9/34 http:\\borghese.di.uimi.it\ y 30 5 / 8 30 + 18 Probabilità semplice 4/10 (32) 6/10 (48) 2/8 (8) 6/8 (24) apple orage 5/8 (30) 3/8 (18) apple orage X r) Apple Orage 4/10*2/88/80 8 6/10*5/830/80 30 y 4/10*6/824/80-24 6/10*3/818/80-18 x i i, o i 24 18 42 8 24 32 Y o) lim + + 80 80 80 + 4 /10 80 80 80 i, a i 8 30 38 Y a) lim + 10/34 + http:\\borghese.di.uimi.it\ 80 80 80 r lim + Red Blue 5
Probabilità margiale X r) r lim + 8 80 24 32 + 80 80 4 /10 E la probabilità otteuta sommado le probabilità delle altre variabili (mettedo ai margii), i questo caso la variabile Y (frutto) r, X r) lim X r, Y y ) + i, o i Y o) lim X xi, Y o) Apple Orage + Red Blue 4/10*2/88/80 8 6/10*5/830/80 30 4/10*6/824/80-24 6/10*3/818/80-18 x i y 11/34 http:\\borghese.di.uimi.it\ Riassumedo Xx i ; Yy ) Xx i ) Yy X x i ) i, lim + lim + lim + i i, i Xxi ; Yy ) i i i i Probabilità cogiuta Probabilità semplice (margiale) Probabilità codizioata Yy X x i ) Xx i ) i i Xx i ; Yy ) i Xx i Y y ) Yy ) i i 12/34 http:\\borghese.di.uimi.it\ 6
I forma più compatta Xx i ; Yy ) X,Y) Probabilità cogiuta Xx i ) X) Probabilità semplice (margiale) Yy X x i ) Y X) X,Y) P (Y X)X) X,Y) P (X Y)Y) Probabilità codizioata X) Y Y) X P ( X, Y ) P ( X, Y ) 13/34 http:\\borghese.di.uimi.it\ Teorema di Bayes X,Y) P (Y X)X) X Y)Y) Y X ) X ) P (X Y) Y ) 14/34 http:\\borghese.di.uimi.it\ 7
Il teorema di Bayes el ostro caso 4/10 6/10 2/8 6/8 5/8 3/8 apple orage apple orage Suppoiamo di cooscere X), probabilità di scelta del box, e la Y X), probabilità di avere ua mela (aracia) se scegliamo u certo box, possiamo determiare la probabilità assoluta (semplice) di scegliere u certo frutto, Y)? Suppoiamo di o cooscere X), probabilità di scelta del box, coosciamo la probabilità Y X) e Y). Possiamo determiare X)? 15/34 http:\\borghese.di.uimi.it\ Determio Y) Yapple) (2+5) / 16 7/16 Yorage) (6+3)/16 9/16 Yapple X blue) 5/8 Yorage X blue) 3/8 Yapple X red) 2/8 Yorage X red) 6/8 Yapple X blue) + Yorage X blue) 1 Yapple X red) + Yorage X red) 1 4/10 6/10 2/8 6/8 5/8 3/8 apple orage apple orage 8 24 30 18 Yapple) Yapple X blue) Xblue) + Yapple X red) Xred) 5/8*6/10 + 2/8*4/10 38/80 7/16 Yorage) Yorage X blue) Xblue) + Yorage X red) Xred) 3/8*6/10 + 6/8*4/10 42/80 9/16 16/34 http:\\borghese.di.uimi.it\ 8
Determio Y) - tabella Apple Orage Red Blue 4/10*2/8 6/10*5/8 4/10*6/8 6/10*3/8 x i y Sommo lugo x, margializzo x. Yapple) 5/8*6/10 + 2/8*4/10 38/80 Yorage) 3/8*6/10 + 6/8*4/10 42/80 Xred) 4/10*2/8 + 4/10*6/8 4/10 Xblue) 6/10*5/8 + 6/10*3/8 6/10 17/34 http:\\borghese.di.uimi.it\ Determio X Y) P (X Y) Y X ) X ) Y ) 4/10 6/10 2/8 6/8 5/8 3/8 apple orage apple orage 8 24 30 18 Xred Yorage) Yorage Xred) Xred)/Yorage) (6/8*4/10) / (21/40) 24/42 > 4/10 Xblue Yorage) Yorage Xblue) Xblue)/Yorage) (3/8*6/10) / (21/40) 18/42 < 6/10 Xred Yapple) Yapple Xred) Xred) / Yapple) (2/8*4/10) / (19/40) 8/38 << 4/10 Xblue Yapple) Yapple Xblue) Xblue) / Yapple) (5/8*6/10) / (19/40) 30/38 >> 6/10 18/34 http:\\borghese.di.uimi.it\ 9
P (X Y) Y X ) X ) Y ) Xred Yapple) 8/38 << 4/10 Xblue Yapple) 30/38 >> 6/10 Iterpretazioe Correggo la probabilità a-priori, X) co le iformazioi raccolte, Y), e ottego ua uova valutazioe della probabilità di X (che dipede da Y), X Y) detta probabilità a-posteriori. Apple Orage Red 4/10 6/10 2/8 6/8 5/8 3/8 apple orage apple orage 8 24 30 18 Blue 4/10*2/88/80 8 6/10*5/830/80 30 x i 19/34 x i http:\\borghese.di.uimi.it\ 4/10*6/824/80-24 6/10*3/818/80-18 y P (X Y) Y X ) X ) Y ) Importaza 4/10 6/10 2/8 6/8 5/8 3/8 apple orage apple orage 8 24 30 18 Questo è u tipico esempio di problema iverso. Raccogliamo delle misure Y e vogliamo determiare da quale sistema (modello probabilistico) possoo essere state geerate. Possiamo iserire delle iformazioi statistiche (a-priori) su X, cioè sulla forma del modello (e.g. smoothess) 20/34 http:\\borghese.di.uimi.it\ 10
Overview Teoria della probabilità e teorema di Bayes Esercizi 21/34 http:\\borghese.di.uimi.it\ Probabilità codizioata Cosideriamo u mazzo di 40 carte: vogliamo valutare quale sia la probabilità che ua carta estratta a caso sia u re. vogliamo valutare quale sia la probabilità che ua carta estratta a caso sia u re, sapedo di avere estratto ua figura. Y) probabilità che sia u re X) probabilità che sia ua figura Y X) 1/3 Y) Y/X) X) 1/3 12/40 4/40 Figura Pr(12/40) RE Pr(1/3)!Figura Pr(28/40 22/34 http:\\borghese.di.uimi.it\ 11
Esempio I I ua città lavorao due compagie di taxi: blue e verde: X {T blu, T verde } co ua Distribuzioe di 85% di taxi verdi e 15% di taxi blu. Succede u icidete i cui è coivolto u taxi. U testimoe dichiara che il taxi era blu. Era sera e l affidabilità del testimoe è stata valutata dell 80%. Qual è la probabilità che il taxi fosse effettivamete blu? o è l 80%! 23/34 http:\\borghese.di.uimi.it\ Esempio - I X {T blu, T verde } Y {C blu, C verde } Icidete 0.85 0.15 Taxi verde Taxi blu 0.8 0.2 0.2 0.8 Verde Blu Verde XT blue Y blue ) Y blue X blue )X blue ) / Y blue ) Blu X blue ) Probabilità a-priori 0.15 Y blue X blue ) Probabilità codizioata 0.8 24/34 http:\\borghese.di.uimi.it\ 12
Esempio - I X {T blu, T verde } Y {C blu, C verde } XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) Icidete 0.85 0.15 Taxi verde Taxi blu 0.8 0.2 0.2 0.8 Verde Blu Verde Blu Y blu ) Probabilità margiale di Y (probabilità semplice) Y blu X blu )X blu ) + Y blu X verde )X verde ) 0.8*0.15 + 0.2*0.85 0.29 XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) 0.8*0.15 / 0.29 0.41 25/34 http:\\borghese.di.uimi.it\ Esempio - I X {T blu, T verde } Y {C blu, C verde } XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) Icidete 0.1 0.9 Taxi verde Taxi blu 0.8 0.2 0.2 0.8 Verde Blu Verde Blu Y blu ) Probabilità margiale di Y (probabilità semplice) Y blu X blu )X blu ) + Y blu X verde )X verde ) 0.8*0.9 + 0.2*0.1 0.74 XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) 0.8*0.9 / 0.74 0.97 26/34 http:\\borghese.di.uimi.it\ 13
SW i Matlab 10 XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) 0.5 100 XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) 0.3235 1,000 XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) 0.4 10,000 XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) 0.4157 100,000 XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) 0.4173 1,000,000 XT blu Y blu ) Y blu X blu )X blu ) / Y blu ) 0.4158 Possiamo dare degli itervalli di cofideza? Quato deve essere grade? 27/34 http:\\borghese.di.uimi.it\ Lo strumeto pricipe per lo screaig per il tumore al seo è la radiografia (mammografia). Defiiamo X la situazioe della doa: X{saa, malata} Defiiamo Y l esito della mammografia: Y{positiva, egativa} La sesitività della mammografia è itoro al 90%: sesitività positive ill Esempio - II > Ypositive Xill) La specificità della mammografia è ach essa itoro al 90%: specificità egative healthy > Yegative Xhealthy) 28/34 http:\\borghese.di.uimi.it\ 14
Esempio II X {Healthy, Ill} Y {Positive, egative} Screeig 0.99 0.01 Healthy Ill 0.1 0.9 0.9 0.1 Positive egative Positive egative XIll YPositive) YPositive XIll)XIll) / YPositive) YPositive XIll) 0.9 * 0.01 0.009 YPositive YPositive XIll) + YPositive XHealthy) 0.009 + 0.99*0.1 0.108 29/34 http:\\borghese.di.uimi.it\ Esempio - II YPositive YPositive XIll) + YPositive XHealthy) 0.009 + 0.99*0.1 0.108 10.8% di probabilità di avere u esame positivo a frote di uo 0.01% di doe malate! Solo lo 0,9% proviee da doe effettivamete malate, le altre soo false positive Ifatti il PPV (Positive Predictive Value) è: XIll YPositive) YPositive XIll)XIll) / YPositive) 0.09 / 0.108 0.083 (8.3%) Solo 8.3% delle doe co mammografia positiva soo effettivamete ammalate. Aalizzado la formula del teorema di Bayes, dove ha seso ivestire per otteere u redimeto delle screeig maggiore? 30/34 http:\\borghese.di.uimi.it\ 15
Esempio II X {Healthy, Ill} Y {Positive, egative} Screeig 0.99 0.01 Healthy Ill 0.01 0.99 0.9 0.1 Positive YPositive XIll) 0.9 * 0.01 0.009 egative Positive egative YPositive YPositive XIll) + YPositive XHealthy) 0.009 + 0.99*0.01 0.0189 XIll YPositive) YPositive XIll)XIll) / YPositive) 0.009 / 0.0189 0.476 47,6% >> 8.3% 31/34 http:\\borghese.di.uimi.it\ Esempio II X {Healthy, Ill} Y {Positive, egative} 0.99 Screeig 0.01 0.1 Healthy 0.9 0.99 Ill 0.01 Positive YPositive XIll) 0.99 * 0.01 0.0099 egative Positive egative YPositive YPositive XIll) + YPositive XHealthy) 0.0099 + 0.99*0.1 0. 1098 XIll YPositive) YPositive XIll)XIll) / YPositive) 0.0099 / 0.1098 0.09 9% > 8.3%. 32/34 http:\\borghese.di.uimi.it\ 16
Riepilogo P (X Y) Y X) X) X, Y) Teorema di Bayes Y) Y) Lega probabilità codizioate, cogiute, semplici (margiali) Cosete di iferire la probabilità di u eveto, X, a partire dalla probabilità associata alla frequeza di ua certa misura, Y), dalla probabilità che lega la misura all eveto, associata alla frequeza relativa dell eveto associato alla misura, Y X), e dalla probabilità ota a-priori, X), dell eveto. La probabilità X Y) viee per questo detta probabilità a-posteriori. Viee utilizzata ei problemi iversi. 33/34 http:\\borghese.di.uimi.it\ Overview Teoria della probabilità e teorema di Bayes Esercizi 34/34 http:\\borghese.di.uimi.it\ 17