Intelligenza Artificiale II. Ragionamento probabilistico Rappresentazione. Marco Piastra. Intelligenza Artificiale II - AA 2007/2008

Transcript

1 Intellgenza rtfcale II Ragonamento probablstco Rappresentazone Marco astra Ragonamento probablstco: rappresentazone -

2 arte Mond possbl sottonsem event artzon e varabl aleatore robabltà Margnalzzazone Condzonal Indpendenza ndpendenza condzonale Modell grafc Ragonamento probablstco: rappresentazone -

3 Event Logca formule ed event S consder un lnguaggo proposzonale L L nseme de mond possbl concde con l nseme delle nterpretazon V cascun smbolo proposzonale corrsponde un sottonseme d V p.es. ad un smbolo corrsponde {v : v } C V Qund come noto anche a cascuna fbf corrsponde un sottonseme d V Un evento è un sottonseme d mond possbl Un evento s verfca quando l mondo attuale appartene al corrspondente sottonseme Ma l agente usa le descrzon fbf degl event non sa qual è l mondo attuale Ragonamento probablstco: rappresentazone -

4 ossbltà Conoscenze certe L agente possede un sstema d conoscenze oggettve descrtto da una teora p.es. l agente sa che C qund solo mond {v : v C } sono possbl otremmo dre che l evento C s è gà verfcato Vceversa l valore d vertà d non è noto all agente nfatt: C C C V Un evento è possble quando non è noto l valore d vertà. Ragonamento probablstco: rappresentazone - 4

5 * Nel caso d V dscreto robabltà* Una msura de sottonsem d V. è una funzone che assegna un numero reale a cascun sottonseme d V ssom Kolmogorov er qualsas sottonseme E E V er qualsas sequenza E d event dsgunt E E... E n E V Esempo: sono tre event dsgunt ved fgura Ragonamento probablstco: rappresentazone - 5

6 * Nel caso d V dscreto artzon varable aleatora* artzone Cascun smbolo proposzonale suddvde V n due sottonsem dsgunt e Qund + V da cu In altr termn: possbl valor v e v defnscono una partzone d V n base ad v V V v Varable aleatora S consder una varable che ha {x x... x n } come domno In cascun mondo possble assume un determnato valore x I possbl valor v x v x... v x n defnscono una partzone d V n base ad è una varable aleatora Cascun v x è un evento un sottonseme d V v x v x V nche a valor bnar è una varable aleatora Le v.a. bnare o bnomal sono anche dette bernoullane Le v.a. a pù valor sono dette multnomal... v x n Ragonamento probablstco: rappresentazone - 6

7 * Nel caso d V dscreto Varabl aleatore dstrbuzone congunta* Essendo x e x j event dsgunt: x x j x + x j se j Varabl aleatore multple Soltamente n una rappresentazone probablstca convvono pù varabl aleatore Esemp: occorrenza n una emal d parole dverse classfcazone della stessa emal come spam V Cascuna combnazone d valor delle v.a. è un evento Un nseme d v.a. defnsce una partzone d V x x y y x n y m Dstrbuzone d probabltà congunta jont probablty dstrbuton er un determnato nseme d varabl aleatore p.es. Z E` una funzone x y j Zz k che assoca un numero reale a cascuna combnazone d valor <x y j z k > S ndca anche con x y j Zz k oppure Z Dato che e Z defnscono una partzone d V: j k x y Z z j k Ragonamento probablstco: rappresentazone - 7

8 * Nel caso d V dscreto Margnalzzazone* L elmnazone d una varable aleatora da una probabltà congunta Data una probabltà congunta x y j Zz k La probabltà margnale x y j s ottene per sommatora: x yj x y j Z zk k Data una probabltà congunta su una partzone s può sempre ottenere una probabltà congunta su una partzone contenuta nella prma Ragonamento probablstco: rappresentazone - 8

9 Esempo: dstrbuzone congunta *Ved anche Dutchook.xls La conoscenza della dstrbuzone d probabltà congunta permette d stablre la probabltà d qualsas combnazone logca d event Esemp: C C * x dovrebbe essere la somma che sete dspost a scommettere per una vncta x C C C C. Ragonamento probablstco: rappresentazone - 9

10 Interludo: possbltà e probabltà Come s rappresentano mond mpossbl? Esempo: testa o croce vuol dre che escludamo testa e croce né testa né croce a I mond mpossbl sono esclus da V b I mond mpossbl sono n V ma hanno msura nulla V referenza n questo corso lla De Fnett 9 I mond mpossbl sono esclus da V Come n una struttura modale KD45: La probabltà è defnta sull nseme de mond accessbl L agente dstngue tra fatt e certezze probablstche n tutt mond possbl In tutt mond possbl sono vere le formule logche che descrvono fatt not In testa o croce l nseme delle conoscenze oggettve è { T C T C} Ragonamento probablstco: rappresentazone -

11 robabltà condzonale Defnzone V Sgnfcato E` una forma d nferenza: s passa da un nseme d mond possbl ad un altro Qund da una msura d probabltà ad un altra S assuma un agente consder V come nseme d mond possbl è la probabltà che s verfch S supponga che l agente venga a sapere che l evento s è verfcato L evento complementare è qund mpossble V è l nuovo nseme de mond possbl è la nuova probabltà che l evento s verfch V' Ragonamento probablstco: rappresentazone -

12 Esempo: probabltà condzonale C C La conoscenza della dstrbuzone d probabltà congunta permette d stablre qualsas probabltà condzonale Esempo: C.4 C.75.5 era.55: la conoscenza d dmnusce la somma che sete dspost a scommettere Ragonamento probablstco: rappresentazone -

13 Ragonamento probablstco: rappresentazone - Teorema d ayes T. ayes 764 Defnzone Una relazone tra probabltà condzonal e margnal Nelle applcazon pratche vene anche detta verosmglanza lkelhood L Corollaro della defnzone d probabltà condzonale chan rule er la defnzone d margnalzzazone: Da cu Formulazone alternatva del teorema d ayes: L

14 Eserczo: nformazon e scommesse Due buste una vene estratta Una busta contene due getton ross e due ner vale euro Una busta contene un gettone rosso e due ner non vale nulla rma d scommettere potete estrarre un gettone a Il gettone è nero. Quanto scommettete? b Il gettone è rosso. Quanto scommettete? Obettvo: mostrare che l teorema d ayes semplfca calcol Ragonamento probablstco: rappresentazone - 4

15 Indpendenza ndpendenza condzonale Indpendenza Due event sono ndpendent se la probabltà congunta è uguale al prodotto delle probabltà margnal < > Indpendenza condzonale Due event sono condzonalmente ndpendent dato un terzo evento se la probabltà condzonale congunta è uguale al prodotto delle probabltà condzonal margnal < C> C C C C C C C C C C Questa è la propretà pù rlevante Ragonamento probablstco: rappresentazone - 5

16 Modell grafc anche ayesan Networks Struttura + numer nvece d sol numer Un modo per rappresentare una dstrbuzone d probabltà congunta I nod sono varabl aleatore Gl arch orentat rappresentano dpendenza Notare che la specfca d una dstrbuzone congunta d quattro v.a. rchederebbe 4 6 valor In fgura valor sono solo 9 Ragonamento probablstco: rappresentazone - 6

17 Da un modello grafco alla probabltà congunta Dstrbuzone congunta uò essere espressa come prodotto d probabltà condzonal estensone della chan rule Esempo: C S R W C S C R S C W R S C In un modello grafco la dstrbuzone congunta è un prodotto delle probabltà condzonal de nod parents K n Dove parents sono nod afferent drett del grafo orentato Nell esempo: C S R W C S C R C W R S ssunzon mplcte: <R S C> <W C R S> Ragonamento probablstco: rappresentazone - 7

18 Modello grafco e ndpendenze condzonal D-separaton Come s legge l ndpendenza condzonale n un modello grafco In un modello grafco Due nod e sono condzonalmente ndpendent dato un nseme d nod {Z k } se tutt percors tra e sono bloccat Nel determnare possbl percors tra due nod s gnora l verso degl arch Un percorso tra e è bloccato se: Il percorso contene una sequenza Z oppure una dramazone fork Z Z {Z k } Il percorso contene una confluenza jon N n cu N e tutt dscendent d N non appartengono a {Z k } Ragonamento probablstco: rappresentazone - 8

19 Ragonamento probablstco: rappresentazone - 9 Explanng way Ulteror osservazon sulla condzone della D-separaton Modello grafco con un jon robabltà congunta: robabltà margnale rspetto a e valore d Z ncognto: Qund e sono margnalmente ndpendent Ma se l valore d Z è noto allora e sono dpendent: Non è un paradosso. Esempo: e sono due lanc della stessa moneta Z se l rsultato è lo stesso Z altrment. Z Z Z Z Z v Z v Z v Z v Z v Z

20 Ragonamento probablstco: rappresentazone - Esemp d modell grafc Dpendenza completa Modello d Markov Modello Hdden Markov In genere nod sono hdden nel senso d non-osservabl 4 4 n n