Sistemi Intelligenti Stimatori e sistemi lineari - III

Transcript

1 Sstem Intellgent Stmator e sstem lnear - III Alberto Borghese Unverstà degl Stud d Mlano Laboratory of Appled Intellgent Systems (AIS-Lab) Dpartmento d Informatca borghese@d.unm.t /6 Overvew Funone d verosmglana Stma alla massma verosmglana /6

2 Modello = f(u w) u w m u causa => m effetto (msurato on errore) Control / Classfcaton / Predcton: determne {} from {u},{w} Inverse problem: determne cause {u} from { m },{w} Inverse problem: Identfcaton: determne {w} from {u},{ m } - Learnng 3/6 Probabltà d un certo nseme d msure p( m, m, 3m ) = p m = f(u w) msuro { } n corrspondena d {u } con parametr {w j } Avrò che: f(u, w) =,m + + n => f(u, w) - m = n the nose Se le msure sono ndpendent posso scrvere che la probabltà d ottenere le msure: m, m, 3m.. è: p p( m, m, 3m ) = m 4/6

3 Dpendena delle msure = f(u w) u w m Le msure dpendono dal valore dalle varabl n ngresso u e da parametr w. p m u w p( m, m, 3m ) =, p f u ; w u, w Tanto pù parametr saranno corrett tanto maggore sarà la probabltà d avere y m dal modello. 5/6 Fttng d una retta Voglamo stmare parametr d una retta: = f(u w) = m u + q, con m e q ncognt: W = {m, q} La retta è un modello lneare. Abbamo a dsposone msure rumorose effettuate: m che sono funone d u e w: m = { m ;u, w}, con rumore su Supponamo che le m sano affette da errore Gaussano a meda nulla. In pratca: m = + n = m u + q + n dove n è l errore d msura. n = m - m u + q è Gaussano a meda nulla. Possamo anche scrvere che: m = + G (m, s ) ndca una dstrbuone monodmensonale gaussana a meda m e varana s. Errore d msura: G(0, s ) u 6/6 3

4 Stma a mnm quadrat e verosmglana Per ogn punto, dovrebbe valere =m u +q. Ma c è l errore d msura, msuramo n realtà + n. Cerchamo parametr m e q che sono pù verosml. Cosa vuol dre che sono pù verosml? Quanto sono pù verosml? u 7/6 Funone d verosmglana Sano date varabl casual ndpendent Quale è la probabltà d msurare l vettore [ m,, m ]?,,...,...,,..., p p p p L m m m m m m m m m La probabltà congunta è l prodotto delle probabltà semplc. Questa è la Funone d verosmglana o funone d Lkelhood, L(.) In questo caso le sono legate alle u da f(u,w). 8/6 4

5 Overvew Funone d verosmglana Stma alla massma verosmglana 9/6 Stma alla massma verosmglana Se massmamo L=L( u, w) rspetto a w trovamo parametr w tal per cu è massma la probabltà d msurare l vettore d dat m = { m, = }. Stma alla massma verosmglana. Pù n generale, le varabl possono avere denstà d probabltà dverse, cascuna descrtta da un set d parametr. I parametr delle dverse denstà d probabltà possono essere calcolat utlando l approcco alla massma verosmglana La funone d verosmglana dpende da parametr che defnscono le denstà d probabltà delle varabl casual che entrano nella verosmglana Massmando la funone d verosmglana rspetto a tal parametr se ne effettua la stma n modo tale che l vettore osservato = { m } = sa massmamente probable (massma verosmglana). 0/6 5

6 Stma alla massma verosmglana per modello lneare Impostamo l problema scrvendo la funone d verosmglana e massmando tale funone rspetto a m e q Scrvamo prma d tutto la denstà d probabltà d ottenere m per cascun dato: p m m mu q m, q, u exp s s Dove m e q non sono note. m = + n = m u + q + n /6 Stma a massma verosmglana Sapendo che le msure sono ndpendent, possamo scrvere la probabltà d ottenere le msure { m }: funone d verosmglana. Scrvamo l logartmo negatvo della verosmglana per errore Gaussano.,,...,...,,..., p p p p L m m m m m m m m m m mu q ln( L(.) ln p( m) f m, m... m; m, q; u, u... u ln exp s s m mu q ln s s ln m mu q s s p m /6 6

7 Stma a massma verosmglana E massmamo L(.) ponendo a ero le dervate prme rspetto a m: m m u m u q u f y,... ;, ;,... m y m ym m q x m x m xm ln m m u q m m s s 0 m mu q u s mu q x 0 mu qu 0 s 0 m u q u m u a equaone 3/6 Stma a massma verosmglana... e a q: 0 m mu q s mu q 0 mu q 0 s m m m m u q 0 m m u q a equaone 4/6 7

8 Stma a massma verosmglana u m u q m u equaone u m q m equaone Le ncognte, m e b, compaono con esponente => equaon lnear n m e q Potre rsolvere per sosttuone 5/6 Soluone al problema d stma Ottengo un sstema d due equaon n due ncognte: Ax = b Dove: u u A = b = u u m m x = [m q] 6/6 8

9 Esempo = u + m = ; q = Msuro con errore e ottengo: - u = ; =,8 - u = 0; =,. Quanto varranno le stme d m e q?. u m u q u => (* + 0*0)m + ( + 0) q = ( *,8 + 0 *,) u m q => ( + 0) m e + q e = (,8+,) u m e + q e =,8 m e +q e = 4 => per sottraone q e =,; m e =,6 B,8 =,6* +, 7/6 Problema lneare Ho msure ndpendent: { m = m u + q + n} A x = b A = [u ] A Mx = u.. u M x x = m q b Mx =. M 8/6 9

10 Dal Sstema alla soluone a mnm quadrat u u. u M... u M A T A = = u. u M.. A T b = = M u u u u Equaon normal:a T Ax = A t b sono le stesse ottenute dalla massma verosmglana 9/6 Soluone come problema d ottmaone n k Ax b Funone costo: (Ax b) = k Assegno un costo al fatto che la soluone x, non soddsf tutte le equaon, la somma de resdu assocat ad ogn equaon vene mnmata. Geometrcamente: vene trovato l punto a dstana (vertcale) mnma da tutte le rette. d d mn X n k k ( Ax b) A x mn ( X T Ax b) ( Ax b) 0 A T Ax = A T b x = (A T A) - A T b B le funon costo sono spesso quadratche (problem d mnmaone convess) perchè l costo cresce sa che l modello sovrastm che sottostm le msure. Inoltre, le dervate calcolate per mporre le condon d staonaretà (mnmo), sono relatvamente semplc. 0/6 0

11 Esempo - Caso D ( parametr) = 0 punt s o = 0.0 m reale = q reale = 3.5 = m u + q m stmato = q stmato = Cosa vuol dre che {m,q} sono pù verosml? Quanto sono pù verosml? /6 Stma a massma verosmglana e mnm quadrat A T Ax = A T b x = (A T A) - A T b La soluone a massma verosmglana, quando l rumore è Gaussano a meda nulla, concde con la soluone a mnm quadrat del sstema lneare assocato (la soluone a mnm quadrat è un caso partcolare della stma alla massma verosmglana). La soluone è quella che mnma lo scarto quadratco medo de resdu, ovverosa è a mnma varana. La stma a massma verosmglana è un approcco generale, e s presta a p(x) d qualsas forma. La Gaussana consente d ottenere una formulaone lneare del problema. /6

12 Stma a mnm quadrat e verosmglana ella soluone a mnm quadrat del sstema lneare Ax=b s defnsce un vettore errore v = Ax - b; el caso d soluone perfetta v = 0; Dal momento che abbamo un numero d equaon maggore rspetto al numero d ncognte, cerchamo l vettore e a norma mnma; In pratca cerchamo x t.c. v T v= v è mnmo. 3/6 Relaone con la soluone de sstem lnear el caso precedente le ncognte erano (x,x ) coè le coordnate d un punto del pano. In questo caso le ncognte sono (m,q) parametr della retta. el caso precedente dat erano parametr d ogn retta (m, q / a, a ) In questo caso dat sono punt msurat sulla retta (u, ) 4/6

13 Gustfcaone statstca C'è un solo nseme vero de parametr, mentre c possono essere nfnt unvers d dat per effetto dell'errore d msura. La domanda qund pù corretta sarebbe: "Dato un certo nseme d parametr, qual'è la probabltà che questo nseme d dat sa estratto?" (pù correttamente s parla d denstà d probabltà?) Coè, per ogn nseme d parametr, calcolamo la probabltà che dat sano estratt. Ovverosa la lkelhood (verosmglana) de dat, dato un certo nseme d parametr. La stma a mnm quadrat de parametr è equvalente a determnare parametr che massmano la funone d verosmglana sotto l potes d errore Gaussano a meda nulla. 5/6 Overvew Funone d verosmglana Stma alla massma verosmglana 6/6 3