Markov Random Field. Teoria e applicabilità nell elaborazione delle immagini. Giovanni Bianco. Febbraio i

Transcript

1 Markov Random Feld Teora e applcabltà nell elaborazone delle mmagn U ( f) = v [ 1 δ( )] 20 S N f f f * = arg mn f F { U( d f) + U( f) } Govann Banco Febbrao 1998

2 2

3 Manoscrtto depostato presso l Dp. d Ingegnera per l Automazone Unverstà d Bresca e-mal: banco@bsng.ng.unbs.t 3

4 4

5 Sommaro 1 Introduzone Soluzone ottma d problem Labelng Vcnato Clque Contest Markov Random Feld Gbbs Random Feld Equvalenza tra Random Feld d Markov e d Gbbs Modell d MRF (o d GRF) Forma canonca Bayes Estmaton MAP energetco Metodo d soluzone per MRF Codfca d funzon d clque per operazon a basso lvello Restoraton Edge detecton Texture Modelng Segmentaton Optcal flow

6 5.5 Queston sul termne d smoothness Cenn a modell d MRF hgh level Attrbuted Relatonal Strucuture Mappng tra ARS con MRF Note sul mappng Matchng Multplo Note sul NULL Matchng Stma de parametr Maxmum lkelhood Pseudo Lkelhood Least square ft Metod smultane d stma e rsoluzone Calcolo della Soluzone Hghest Confdence Frst Iterated Condtonal Modes Hopfeld Neural Network Mnmzzazone Globale Graduated Non Convexty GNC per MAP Matchng Genetc Algorthm Esemp d utlzzo d MRF Gbbs sampler Generazone blob-lke

7 9.1.2 Generazone Texture-lke Restoraton Segmentaton

8 8

9 1 Introduzone Ne problem d elaborazone delle mmagn occorre valutare un enttà (pxel, oggetto o altro) all nterno d un certo contesto (pxel vcn od oggett vcn). La valutazone ha lo scopo d assocare un nuovo valore (colore o sgnfcato) all enttà. E charo che l processo d valutazone dpende dall operazone che s ntende effettuare. Ad esempo, se questa è l estrazone de contorn allora occorre valutare come vara l proflo d lumnanza consderando le enttà vcne. Il prncpo del vcnato è qund ben noto n Computer Vson (CV), ed è presente n tutte le classche tecnche d elaborazone dell nformazone vsva. Test come quello del Pratt [27] o d Ballard e Brown [1] offrono panoramche notevol. Le tecnche svluppate lavorano spesso bene ed effcentemente. Un appunto che s può muovere a questo stato d cose è che spesso (quas sempre [24]) sono frutto d ragonament dstant tra loro coscché le eurstche che emergono hanno poco (se non nulla) n comune. Un altra consderazone che s può fare rguarda l concetto d grado d ottmaltà della soluzone. Coè, data una soluzone trovata con metod classc, quanto è ottma consderata una certa funzone costo? Spesso le tecnche classche non fornscono questo genere d ndcazon: la soluzone è quella; punto e basta; anche se problem d CV sono per loro natura Ill Posed [2] e questo determna un nseme (anche) nfnto d soluzon possbl. Per far fronte alla natura de problem s usano vncol agguntv nel calcolo della soluzone: lo smoothness d Horn e Schunck [20] va propro n questa drezone. I Random Feld d Markov (MRF) rescono a mescolare tre caratterstche nteressant tanto da renderl adatt alla CV: vcnato, unctà teorca e ottmaltà. Coè, con un unca base teorca, quella de MRF appunto, s possono svluppare tecnche dverse, dal low level all hgh level processng, per trovare soluzone ottme a problem. L ottmaltà è valutata probablstcamente per cu s trova la soluzone pù probable al problema. Tutto cò rende MRF partcolarmente attraent. Il lato negatvo della teora MRF è che mostra una struttura alquanto ostca poché mescola tecnche probablstche a tecnche propre della rcerca operatva. 9

10 V sono stat recentemente molt lavor su MRF che traggono spunto da quello fondamentale d Geman e Geman [14]. Leggendol [13], s nota l esstenza d zone d ombra nel percorso logco che lega tutte le part del metodo. Lo scopo della presente tes (mnor d dottorato n Ingegnera dell Informazone) è propro questo: creare un flo conduttore a pass necessar per MRF. Per cu, nel captolo 2 verranno approfondte le bas teorche per nquadrare concett elementar. Nel captolo 3 saranno ntrodott random feld d Markov valutando var modell adatt alla rsoluzone d dvers problem. Nel captolo 4 la tecnca bayesana Maxmum A Posteror (MAP), necessara per trovare la soluzone ottma, sarà analzzata e approfondta. Nel captolo 5 verranno ntrodott metod per la codfca con MRF d operazon a basso lvello: restoraton, edge detecton, texture modelng, optcal flow. Nel captolo 6 vengono ntrodott metod per la codfca d operazon hgh level qual è l object matchng. La formulazone d una tecnca MRF prevede de parametr: la loro scelta è partcolarmente delcata e per questo è dedcato l captolo 7. Il dettaglo delle tecnche è partcolarmente complesso e sono rportat solo concett teorc base. Così come è stato fatto nel captolo 8, che ntroduce tecnche classche d ottmzzazone d funzon [7]. L ultmo captolo è nvece dedcato allo svluppo d tecnche che generano texture, che fanno restorng o che effettuano segmentazone. Quest ultma, n partcolare, è una tecnca orgnalmente svluppata per questo lavoro e mostra buon rsultat. Per ultmo, è nteressante rlevare che l sstema d vcnato n MRF non è legato ad una struttura partcolare, quale potrebbe essere la classca rappresentazone matrcale per le mmagn. In generale MRF opera su graf e questo offre nteressant prospettve anche n settor dstant dalla CV. Uno studo d applcabltà nell ambto de sstem nformatv, n partcolare per la formalzzazone d query semantche tra schem Entty/Relatonshp generalzzat, ha mostrato un ottma affntà de MRF. 10

11 Approfondment saranno necessar ma, come consglo d lettura, s possono scambare tra loro termn qual pxel ed enttà generca, matrce e grafo, valore numerco e valore smbolco, dstanza eucldea e altre dstanze. In defntva, MRF offre una teora unfcata a problem legat a contest n cu una soluzone è ottma probablstcamente. L operare all nterno della CV è un dettaglo. 11

12 12

13 2 Soluzone ottma d problem La rsoluzone d problem d computer vson (CV) ha avuto un evoluzone da approcc eurstc verso una pù sstematca rcerca d teore unfcant [24]. In questo processo rcercator del campo s sono res conto che un problema dovrebbe essere rsolto n termn d ottmaltà tenendo conto de vncol d contesto present. Quest ultm, n partcolare, sono necessar per la corretta nterpretazone dell nformazone[26], non solo nel campo della CV. La ragone prncpale per l uso dell ottmaltà s rtrova nell esstenza d ncertezza n ogn problema legato alla CV, ma non solo: rumore o altr fattor degradant dervant da quantzzazone o dsturb; dversa llumnazone degl oggett e loro parzale/totale occlusone n una scena; deformazone della loro struttura dovuta alle ottche usate per catturare l mmagne; anomala nell ngegnerzzazone della conoscenza n generale. E abbastanza evdente che stuazon d questo tpo rendono quas mpossble la rcerca della soluzone perfetta: ha pù senso rcercare una soluzone ottma dat cert crter d ottmaltà. C sono tre queston fondamental ne problem d ottmzzazone n generale [24]: rappresentazone del problema; defnzone della funzone obettvo; algortmo d ottmzzazone. A proposto della rappresentazone del problema un ruolo fondamentale, come vedremo, è assunto dal concetto d legame d vcnato: questo determna che la forma pù generale per rappresentare un problema per MRF è un grafo. La rappresentazone a matrce o a vettore, spesso utlzzate n CV, sono partcolar mod d ntendere graf. Nel caso dell Object Matchng, comunque, questo genere d rappresentazone non vene utlzzata ed è necessaro rtornare alla forma pù generca d grafo attraverso l concetto d Attrbuted Relatonal Structure (ARS) [22]. La funzone obettvo mappa stanze d soluzon verso numer real che ne msurano l ottmaltà. La formulazone determna come dvers vncol (propretà de pxel, relazon tra ess, ) sono codfcate n una funzone. Come vedremo pù avant, la teora de MRF consente d formulare, a partre da consderazon statstche, una funzone obettvo probablstca. L ottmzzazone della funzone obettvo consente d rcercare una soluzone ottma all nterno d uno suo spazo ammssble. La rcerca dell ottmo offre spunt d studo notevol: l esstenza d mnm local; la presenza d funzon obettvo non convesse; l effcenza degl algortm nel tempo e nello spazo. A questo proposto non v sono metod buon sempre ma, puttosto, regole che consentono n determnate stuazon d lavorare bene producendo soluzon adeguate. In genere una suddvsone grossolana de metod è tra algortm che producono soluzon local o global. 13

14 Ne successv paragraf saranno ntrodott, partendo da una formulazone generca del problema sotto forma d grafo, tutt quegl element che consentono d arrvare a formulare una funzone obettvo per un problema d CV. 14

15 2.1 Labelng Un problema d labelng è specfcato n termn d st e label: l labelng assegna una label a cascun sto. E n generale una mappatura: f : S L dove S è l nseme de st e L quello delle label. Un esempo d nseme d st può essere l nseme de pxel n un mmagne o, pù n generale, l nseme de nod n un grafo. Per le label nvece s possono consderare valor (color) assumbl da un pxel o valor (anche smbolc) assumbl dal nodo d un grafo. E ovvo che lo spazo delle confgurazon total è dentfcato da: S F = L In certe crcostanze le label ammssbl per un sto possono essere dverse da quelle ammssbl per un altro sto: l problema s generalzza e per la sua soluzone basta tenerne conto nell nseme de vncol caratterzzant. 15

16 2.2 Vcnato In S st sono relazonat da un sstema d vcnato N. Per l sto, N ha le seguent propretà [13]: N j N N j Un esempo d vcnato può essere la dstanza eucldea o l nseme de st tra loro collegat. Ne derva che la coppa (S,N) è un grafo. Nel caso della struttura a matrce, s può vsualzzare la dstanza d vcnato ad un pxel dato (X): X In genere, qund, per strutture così regolar, s ha: N 2 { S [ dst( pxel, pxel )] r, } = Per strutture meno regolar, come graf n generale, l nseme d vcnato è dato traccando l raggo centrato sul nodo n questone [24]: 16

17 Percò l vcnato può assumere forme dverse nelle strutture d questo tpo. Cò è mportante per l concetto d clque. 17

18 2.3 Clque Una clque è una sottoparte del grafo formato da st e dal sstema d vcnato: c ( S,N ) In genere s usa dentfcare le clque non solo per la loro forma (quando s ha a che fare con strutture regolar) ma anche per la loro cardnaltà. Per convenzone la cardnaltà d una clque è espressa a pedce: C = { S} 1 = {, } { N, S} C 2 C = {}... 3 E l nseme delle clque è dato ovvamente da: C = C k k La forma delle clque è nvece molto mportante soprattutto per queston legate a tecnche d processamento low-level nella CV. S hanno vare forme d clque (s pens ad una fnestra 3x3): Le clque d tpo 1 sono solo un pxel; quelle d tpo 2 sono nvece formate dalle 4 drezon fondamental (2 dagonal e 2 assal) e così va (s veda l captolo 7 per esemp d clque d ordne 3). Per cardnaltà d clque superor alla 2 è raro trovare applcazon [13][24]. 18

19 2.4 Contest L uso d conoscenza d contesto è necessara per catalogare correttamente una enttà [26], qualunque sa lo spazo de problem consderato. A questo proposto le nformazon provenent dal vcnato sono usate come contesto. In termn probablstc è semplce consderare vncol d contesto poché s possono codfcare usando la probabltà condzonata P ( f { f }) che può essere letto come: probabltà che l sto assuma l valore f a fronte del fatto che nel suo vcnato v è l nseme d valor f. Il problema non è complesso se cascuna label è ndpendente: ( f { f }) P( f ) P = e la probabltà globale (data da tutte le label nel loro complesso) è banalmente: P ( f) = P( ) S Il problema dventa complesso quando dalla probabltà condzonata s vuole calcolare la forma d quella non condzonata e le label sono tra loro nteragent. MRF fornsce la soluzone per trattare questo caso [14]. f 19

20 20

21 3 Markov Random Feld Sa { F,F } F 2 = 1,...,F m una famgla d Random Varables (RV) defnta sugl m st d S. Cascuna RV assume valor appartenent all nseme delle label valde per quel sto (n genere, come detto, tutt st assumono valor dallo stesso nseme d label ma non sempre è così). L nseme F è chamato Random Feld [13]. Se la probabltà che l sto assuma la label f è P ( F = f ), allora la probabltà congunta (dell ntero set d st) è descrtta da Il Random Feld è d Markov se: P( f) > 0 ( ) ( f f ) P f fs {} = P N ( F f ) = P( F = f,f = f ) P = ,...,F m = f m Coè: la probabltà congunta deve assumere valor sempre postv, anche se non è un vero e propro lmte. Inoltre, la probabltà che una label f assuma quel valore non dpende dall ntero nseme de st ma solo da quell dentfcat dal sstema d vcnato. Quest ultma è la propretà pù mportante e, n defntva, afferma che l valore d un pxel dpende dal valore de pxel ad esso vcn; oppure, nel caso dell Object Matchng, l fatto che un certo oggetto sa propro quello dpende dagl oggett che gl sono vcn. Questa propretà è chamata markovantà. Come calcolare ( f) P a partre da P ( ) f f N caratterzzante un Random Feld, la gbbsantà.? Prma occorre ntrodurre un altra propretà 21

22 3.1 Gbbs Random Feld Un Random Feld F è defnble Gbbs Random Feld (GRF) [14][3] se P ( f) = Z 1 e 1 U T ( f) dove: Z = f F e 1 U T ( f) è una costante normalzzante (s not che è calcolata su tutte le possbl combnazon d valor dell nseme de st). T assume valor real e controlla la dstrbuzone de pattern f sull nseme de st; stablsce, coè, se quest debbano essere dstrbut unformemente (temperatura bassa) o a pcch (temperatura alta). In genere la s assume uguale ad 1. V c ( f) è l valore d energa potenzale che assume la clque. In genere cascun tpo d clque (dverse per cardnaltà e/o drezone) assume valor dvers d energa potenzale. ( f ) = V c( f ) U è chamata funzone energa per l pattern f consderato; è dato dalla somma c C d tutte le energe potenzal d tutte le clque present nell nseme de st con l vcnato consderato. Ne derva mmedatamente che la probabltà della msura d un pattern f è tanto pù alta quanto pù l energa è bassa. Tenendo conto fno alle clque d ordne 2, l energa può essere scrtta come: ( f) = V ( f) + V ( f, f ) U 1 2 S S N S può notare che mentre MRF s occupa della probabltà condzonata, GRF s occupa della probabltà globale. Quest ultma è quella che dobbamo calcolare poché non c nteressa l valore d un sngolo pxel, ad esempo, ma d tutta l mmagne consderata. Un teorema abbastanza recente [17] stablsce l equvalenza tra due tp d Random Feld, dando d fatto la possbltà d calcolare la probabltà globale a partre da quella condzonata locale e vceversa. 22

23 3.2 Equvalenza tra Random Feld d Markov e d Gbbs L equvalenza consente d calcolare P ( f) dat potenzal d clque che rappresentano vncol local msurabl da P ( ) f f N markovantà) la dstrbuzone è d Gbbs.. E, n sostanza, stablsce che per avere quelle propretà (postvtà e Qund, dalla prma parte dell equvalenza (GRF MRF) s ha: P ( f f ) N = e f L V1 e ( f ) + V ( f, f ) V1 2 N ( f ) + V ( f, f ) 2 N lmtandos fno a clque bnare. In generale, fno a clque bnare, sfruttando la seconda parte dell equvalenza (MRF GRF) la probabltà dell ntero pattern è data da: P ( f) = e f F 1 V1 T S e 1 V1 T S ( f ) + V2( f,f ) S N ( f) + V2( f, f ) S N s not la complesstà combnatora del denomnatore. La P ( f) è chamata probabltà a pror e tramte GRF MRF la s può specfcare fssando gl ambt local, coè dando precs valor alle funzon potenzale ( f), così che v sa un comportamento voluto per pxel dell mmagne. A questo punto s capsce perché è mportante dversfcare le clque anche n base alla loro drezone: certe drezon potrebbero assumere valor potenzal dvers dalle altre perché così dev essere per l problema che s ntende rsolvere. In questo modo s codfca la conoscenza a pror nell nterazone tra st. Come sceglere la forma e parametr per codfcare n modo opportuno la conoscenza a pror (modelng) è un Major Topc [24][12][8][16] per MRF; è charo, comunque, che la forma d V c ( f) determna la forma della GRF rsultante. V c 23

24 3.3 Modell d MRF (o d GRF) Codfcando ( f) = V ( f) + V ( f, f ) U 1 2 s specfca MRF sceglendo opportunamente le S S N funzon potenzal V 1 ( f) e ( f) V 2. Classcamente, propro per la dverstà tra le funzon potenzal, var modell possono essere consderat: Auto model: U( f) = f + S α f f β ove l valore delle label nfluenza drettamente S N, (senza funzon) l valore dell energa potenzale; α e β sono valor real che dpendono da st consderat [3]. Auto logstc: se L= { 0, 1} o = { 1+1, } L [3]. Auto normal: se p( f f ) V 1 N 2 ( ) ( f µ ) f = e ( f, f ) 2σ ( ) f µ β, f µ σ N = e 2 2πσ ( f µ )( f µ ) V 2 2, = β 2σ [24]. da cu derva che Mult logstc: se generalzza l auto logstc a M label e se noltre s ha una funzone potenzale d V c ( f ) ξc = ξc se tutt st hanno la stessa label altrment mentre per st sngol vale f I Vc( f) = α =, altrment vale 0. Coè la funzone potenzale assume un certo valore solo se l sto assume una ben precsa label. E usato per modellzzare regon e textures: se sotropo (coè se tutt potenzal d clque assumono gl stess valor ndpendentemente dalla drezone delle clque) s codfcano regon blob-lke; se ansotropo l pattern è tessturale [12]. 24

25 E nteressante notare che v possono essere pù modell che agscono n concomtanza [12] su uno stesso nseme d st: ad esempo, un MRF Mult logstc (MML) che caratterzza regon blob-lke (sotropo); una MLL ansotropa per cascuna regone caratterzzante la tesstura al suo nterno. 25

26 3.4 Forma canonca Come s può mmagnare, c possono essere molte scelte d V c ( f) per una stessa MRF. Nonostante questo, esste un unca funzone normalzzata potenzale che determna la MRF: questa funzone vene denomnata potenzale canonco [16]. Tale forma canonca è del tpo: V = b c ( f ) c b b ( ) ln P( f ) c 1 0 c = c dove f b f = 0 se b altrment E sempre possble ottenere la forma canonca conoscendo P ( f), ed è utle n quanto consente d rappresentare MRF col mnor numero d parametr possble. Cò n vsta anche del fatto non trascurable d usare metod per la rcerca de parametr ottm per una MRF; meno parametr s devono rcercare meno complessa sarà la procedura d rcerca. 26

27 4 Bayes Estmaton Le ncertezze ntrnseche nelle problematche legate alla CV, così come anche n altre tpologe d problem, gustfcano (anz, lo reclamano) l utlzzo dell ottmaltà per l calcolo della soluzone. Propro a questo proposto, la statstca consente d nquadrare l ottmaltà n ambto probablstco attraverso l mplcta equvalenza: soluzone ottma = soluzone a probabltà massma. La generalzzazone ulterore dell approcco determna che, conoscendo le dstrbuzon de dat a dsposzone o della soluzone che s ntenderebbe rtrovare, vare sano metod statstc che possono autare nella rcerca della soluzone [25][28]. Specfcatamente: Maxmum Lkelhood (ML): quando s ha conoscenza sulla dstrbuzone de dat a dsposzone ma non s ha dea su come s dstrburà la soluzone. Maxmum Entropy (ME): quando la stuazone è opposta rspetto al ML. Maxmum A Posteror (MAP): quando s conoscono entrambe le dstrbuzon. Le precedent sono cas partcolare d questa. Mnmum Descrpton Length (MDL): n base al prncpo per cu la soluzone al problema è quella che necessta del mnor nseme d vocabol d un lnguaggo per la sua descrzone. E dmostrata l equvalenza con MAP. Nell ambto de MRF s utlzza prevalentemente MAP [28][14] per determnare la funzone da ottmzzare. Le bas teorche che descrvono questo metodo partono dalla dstanza d una stma, necessara per trovare l pattern f* pù probable, defnta come: R * * ( f ) C( f, f ) P( f d )df = f F dove ( f, f) C * è una funzone costo che msura la dstanza tra la stma ottma f* e quella attuale f d sono dat a dsposzone. Nel caso della CV è l nseme de valor de pxel che formano l mmagne consderata ( f d) P è la dstrbuzone chamata a posteror 27

28 S rcorda che all nterno della ( f d) P è codfcato, tramte le funzon potenzal d clque, l comportamento voluto per l operazone che s ntende esegure sull mmagne: ad esempo, edge detecton, restorng, ecc. Come codfcare questo comportamento sarà argomento del prossmo captolo. La funzone costo ( f, f) C * è n genere d due tp: ( f, f) C * ( f, f) C * 1 f * f δ 2 +δ 2 f * f Seguendo la seconda tpologa d costo, possamo scrvere: R * ( f ) = 1 P( f d) df = 1 1 P( f d )df f : f * f > δ f : * f f δ e al tendere d δ a 0 s può approssmare la precedente con: ( f ) = 1 kp( f d) R * dove k è l volume determnato dalla porzone d ascssa f * f δ. * A questo punto basta mnmzzare ( f ) R o, alternatvamente, massmzzare la: f * = arg max P f F ( f d) che è propro la Maxmum A Posteror (MAP). Dal punto d vsta statstco, applcando drettamente l prncpo d Bayes, se ne derva che: ( fd) P = p ( df) P( f) p() d ove p e P assumono sgnfcat dvers; n partcolare la formula precedente equvale alla scrttura [25]: 28

29 P ( f d) = P( f f d= d) P = ( d= d f f) P( f f) P ( d= d) (n grassetto s dentfca l vettore generco mentre n corsvo l valore precso). Ne derva la formula ntrodotta precedentemente per l necessaro passaggo al lmte nelle funzon d dstrbuzone (P), e la conseguente comparsa della funzone denstà d probabltà (p). Da cu ( f d) p( d f) P( f) P poché l denomnatore della trasformazone bayesana è costante, non dpendendo da f. Percò la MAP s può scrvere alternatvamente come: f * = arg max f F { p( d f) P( f) } da cu s nota come, non conoscendo la dstrbuzone a pror P(f) (supponendola unformemente dstrbuta), la MAP equvalga al ML: f * = arg max f F { p( d f) } La funzone denstà d probabltà ( d f) p è chamata, appunto, lkelhood. 29

30 4.1 MAP energetco Vsto che MRF GRF, s ha: arg max P f F ( f d ) = arg mnu( f d) f F nfatt l unca possbltà d ottmzzazone s ha nell esponente d GRF che è, appunto, negatvo. E nteressante osservare che per effetto della trasformazone bayesana ntrodotta nel paragrafo precedente, la probabltà a posteror è alternatvamente calcolable rcorrendo al prodotto tra la denstà d lkelhood e la dstrbuzone a pror. Tenendo conto che tutte queste probabltà hanno una rappresentazone energetca (propro per l equvalenza con Gbbs), l prodotto delle probabltà è la somma delle energe ad esponente. Se ne deduce che: ( f d) = U( d f) U( f) U + che rappresenta l modo pù dretto per la soluzone de problem con MRF. 30

31 4.2 Metodo d soluzone per MRF In sntes, da paragraf precedent s derva che, per applcare MRF, occorre [24]: Defnre N su S Defnre V c ( f) Calcolare U( f d) Mnmzzarla per trovare f* Nel captolo 5 verranno affrontat mod per defnre le funzon potenzal d clque per codfcare l operazone voluta; nel captolo 6 s ntrodurranno concett d base per la codfca d operazon d matchng tra oggett. Nel captolo 7 s approfondranno tecnche per la stma de parametr n una MRF. Nel captolo 8 s daranno cenn a metod d ottmzzazone e nell ultmo captolo s dettagleranno esemp concret d elaborazone con MRF. 31

32 32

33 5 Codfca d funzon d clque per operazon a basso lvello Le operazon CV d basso lvello sono effettuate drettamente sulla rappresentazone dell mmagne sottoforma d grgla regolare (matrce) d pxel [24]. La maggor parte delle applcazon MRF codfcano operazon d basso lvello, qual restoraton, segmentaton, texture analyss, edge detecton, optcal flow, data fuson. In questo genere d operazon s defnsce osservazone ( d,d ) d = 1 2,...,d m l nseme de valor de pxel; coè l valore d tutt gl m st dell mmagne. Il prncpo base su cu s fondano tutte le operazon d basso lvello è che l vero modello f con cu s ntende spegare l nseme de st è nascosto nell mmagne e quello che s nota è solamente l osservazone d. S assume che l vero modello sa trasformato nell osservazone tramte [1][27]: d = ϕ ( B( f ) e dove B è l effetto d blurrng sul vero valore; ϕ è una trasformazone del valore, lneare o non lneare, determnstca o probablstca; e è l rumore sensorale mentre rappresenta un operazone d addzone o moltplcazone. In genere s assume che non v sa blurrng, che la trasformazone sa lneare e che v sa un rumore gaussano ndpendente addtvo. Coè, per cascuno sto : ( f) e d =ϕ + Se ne derva che, vsta l ndpendenza d cascun sto: U( d f ) p( d f) = e m 2 2πσ = U( d f) = ( ϕ( f ) d ) ( 2σ ) S 1 33

34 S not che la denstà d lkelhood è semplcemente calcolable pensando che ogn sto ha assocato un rumore gaussano ndpendente; percò l ntero nseme d st non è altro che l prodotto d tutte queste denstà ndpendent. 34

35 5.1 Restoraton L operazone rcosttusce una superfce { ( x,y) } f degradata sfruttando clque d ordne 2. S assume che la funzone sa camponata dscretamente e che tutt st, da ora, non sano espress da una doppa coordnata ma da un solo ndce (trasformazone che è sempre possble). Percò la superfce reale che è stata degradata è dentfcata da: ( f, f,..., ) f = 1 2 f m s assume che questa sa una realzzazone d una MRF dove una partcolare f dpende da valor del suo vcnato. V possono essere due cas d restoraton [24]: superfc costant: s dentfca così un mmagne a macche (blob-lke) ove cascun blob ha valore costante. S può modellzzare con una MLL: V c ( f ) 0 = ξc se tutt st hanno la stessa label altrment dove ξ c < 0. Una volazone della costanza ne pxel d vcnato corrsponde ad una penaltà. Questo s rflette sulla mnmzzazone MAP: per quel sto sarà pù probable l valore che corrsponde alla mnor penaltà possble che, per come è stata defnta la funzone d clque, s ha quando nel vcnato v sono gl stess valor. E abbastanza mmedato defnre la funzone d clque rcorrendo alla delta d Knonecker. Coè: ( f) = V ( f, f ) = v [ 1 δ( f f )] V c 2 20 dove v 20 è la penaltà contro l fatto che non v sano label ugual n e. S derva mmedatamente l energa a pror (relatva solo al modello d pattern che voglamo ottenere): U ( f) = v [ 1 δ( )] 20 S N f f 35

36 Superfc contnue: nasce l concetto d smoothness; nfatt la superfce che s ntende regolarzzare non è pù costante ma camba con gradualtà. Ne derva che s possono penalzzare camb d gradualtà troppo repentn. Il potenzale d clque è: ( f, f ) = g( f f ) V 2 Alla funzone penalzzante g s chede che abba come propretà: 1. g () η =g( η) η 2. g () 0 : par : non decrescente 3. lm g() η = C< η 4. () η mn{ g() η, α} : decrescente/crescente con gradualtà g = : lmtata superormente/nferormente Una volta trovata la U ( f) sfruttando le precedent funzon d clque, occorre determnare l energa d lkelhood ( d f) U n modo che s abba l orma nota energa a posteror: ( f d) = U( d f) U( f) U + A seconda de cas s otterrà, tenendo conto che all nzo del captolo 5 s è gà trovata l energa d 2 2 lkelhood come U( d f) = ( ( f ) d ) ( 2σ ) S ϕ : 2 2 U( f d) = ( ϕ( f) d) ( 2σ ) + v20[ 1 δ( f f )] S S N 2 2 U( f d) = ( ϕ( f) d) ( 2σ ) + g( f f ) S S N S not come: l energa d lkelhood sa una sorta d msura d quanto s dscosta l valore che s ha a dsposzone dal valore che s ntende ottenere tenendo conto degl error present e/o d eventual operazon d modfca del valore. L energa a pror msura la bontà del modello che s troverà mnmzzando la funzone obettvo. Coè essa dà ndcazone del prezzo da pagare per la soluzone che s sta analzzando. 36

37 Avendo n mente queste regole eurstche non è complesso codfcare la funzone obettvo per una certa operazone. 37

38 5.2 Edge detecton L operazone d edge detecton prende spunto mmedato da quello d restoraton anche se ntroduce un concetto non molto semplce che è quello delle MRF accoppate [14]. S rscrve l ultma formula precedentemente ntrodotta come: E 2 ( f) = U( f d) = ( f d) + λ g( f f ) S S N (senza perdta d generaltà) e s ntroduce una MRF accoppata tale che la grgla de st d cascuna sa: St della MRF usuale (pxel) St della MRF accoppata (contorn) E In questo modo l nterazone delle due MRF è determnata dalla probabltà congunta P( f P, f ) dove P f sono st usual (pxel) mentre E f sono st d contorno (dual a precedent). Dando alla funzone g la struttura analtca seguente: P P E P P 2 E E ( f, f, f ) = ( f f ) ( 1 f ) α f g,, +, P P 2 s codfca mplctamente l seguente sgnfcato: se ( f ) < α P P prezzo ( ) 2 prezzo α. f f E, e porre = 0 f ; altrment, se ( f ) α f è pù convenente pagare l P P 2 E, f è meglo porre f = 1 pagando l S ha mmedatamente: E P E P E P 2 P P 2 E E ( f, f ) = U( f, f d) = ( f d) + λ [ ( f ) (, ) +, ] f 1 f α f S S N Esstono var mod per elmnare la presenza della MRF duale all nterno della funzone obettvo; l pù semplce prevede che s ottmzz la seguente: 38

39 39 ( ) ( ) ( ) ( ) + = = S N P P S P E P E P f f g d f d f, f U f, f E λ 2 tenendo conto che l contorno segue la regola: ( ) > = altrment f f se f P P E, 0 1 α

40 5.3 Texture Esstono tre mportant settor d anals tessturale: modelng, classfcaton e segmentaton [24]. Nel modelng, a partre da una legge analtca, s generano element tesstural; nel classfcaton, s parte da element tesstural esstent e s cerca d trovare parametr che hanno generato l pattern; nel segmentaton s parte dal presupposto che st con la stessa tesstura appartengono alla medesma regone omogenea: percò s regonalzza l mmagne (segmentaton) sfruttando le dverstà tesstural. A parte l classfcaton, che sarà approfondto nel captolo dedcato alla stma de parametr n genere, sa modelng che segmentaton mertano un anals dettaglata Modelng La tesstura può essere specfcata dalla probabltà a pror del pattern. Infatt una partcolare MRF tende a favorre un pattern f defnto n base alle funzon potenzal d clque. In genere s sfrutta MLL ove: V 2 ( f, f ) βc = βc se tutt st {, } nella clque hanno la stessa label altrment Quando l modello è sotropo (coè tutte le clque hanno stesse funzon potenzal ove tutt β c = β ) l pattern generato sarà blob-lke; altrment, se MRF è ansotropo (clque con funzon potenzal dvers) allora s genera un pattern texture-lke. La generazone del pattern f avvene classcamente con due metod: Metropols sampler e Gbbs sampler [9][14]. Entramb cercano d generare l pattern f pù probable secondo la funzone MAP determnata da potenzal d clque. Il problema non è semplce poché, come s è vsto, P ( f) ha complesstà combnatora a denomnatore. Entramb sampler partono da una nzalzzazone random per l valore de st dopodché, per cascun sto, generano l valore pù probable consderando l vcnato e le funzon d clque. Iterando vare volte su tutt st s converge verso un massmo (locale) della dstrbuzone a pror. Nel captolo 9 sono rportat test effettuat nella modellzzazone tessturale usando Gbbs sampler, l cu dettaglo de pass è: 40

41 nzalzzazone random de st; per cascun sto: calcola p P( f = l f ) l L l = ; N pon f = l con probabltà p l ; tera N volte. In genere qualche decna d terazon è pù che suffcente per generare pattern stabl blob-lke o texture-lke Segmentaton Nella segmentazone basata su tesstura v sono due dvers mod d agre: supervsed segmentaton ove tutt parametr della tesstura sono not e unsupervsed segmentaton che s occupa nvece d stmare (contemporaneamente o precedentemente) parametr d MRF oltre che effettuare la segmentazone [29][24]. In entramb cas P ( f) msura la probabltà sul pattern d segmentazone f: nfatt f rappresenta l tpo d regone (colore) assocato ad un sto (pxel). Questa probabltà segmenta l mmagne n regon I S d colore omogeneo I. Mentre ( d f) appartenent ad una specfca regone Occorre percò rsolvere P ( f d) pror. p rappresenta la tesstura (dsposzone de dat d) I S con un ben precso f., una volta conoscute la denstà d lkelhood e la dstrbuzone a Come antcpato, per due cas d segmentazone v sono due mod d agre dfferent: I Supervsed: sa S ( f) { S f = I} = l nseme de st che possederanno l medesmo colore regonale I. E charo che un tale tpo d regone avrà (not) de parametr tesstural; I se s suppone che la dstrbuzone all nterno della regone S sa governata da una MLL allora parametr necessar sono quell relatv alle funzon d clque d ordne 2: I 2 V ( d f ) I βc = I βc se tutt d nella clque hanno la stessa label altrment 41

42 Sommando tutte le sngole funzon potenzal appartenent alle regon s ottene l energa d lkelhood: U I ( df) = Vc ( d f) I L c S I Rmane da defnre l energa a pror U ( f). In questo tpo d segmentazone (supervsed) s assume che parametr sano not percò che la dstrbuzone a pror sa, n qualche modo, data. Unsupervsed: c s rende conto mmedatamente che né parametr delle funzon d clque né della dstrbuzone a pror sono a dsposzone. Il problema può essere formulato ancora n termn MAP tenendo conto anche de parametr ncognt legat a dat θ d o legat alle tessture present θ f. L equazone MAP da massmzzare s può scrvere come: * * * ( f, θ, θ ) = arg max P( f, θ, θ d) f d f, θ f, θd f d che è n genere è molto complessa da ottmzzare. In genere è necessaro potzzare come dev essere la segmentazone: s assume n generale che la segmentazone (l pattern f) sa gudato da una MLL blob-lke ove nell nterno d cascun blob I S c è una MLL texturelke. Qund s hanno gà char qual sono possbl parametr θ f convolt mentre θ d sono dat del rumore gaussano assocato a cascun pxel. V sono var mod s semplfcare l equazone precedente assumendo che θ f e θ d sano tra loro ndpendent o che θ d s possa scrvere n forma chusa (s vedrà nel captolo 7). Come generalzzazone del precedente approcco s può dre che la stma de parametr è un fatto essenzale per MRF: questo argomento sarà analzzato, anche se non n dettaglo, n un prossmo captolo. Per ultmo, s può arrvare ad una segmentazone con MRF sfruttando clusterng d pxel e restoraton. In letteratura v è qualche esempo d questa tecnca che, comunque, non è rgorosa quanto quelle analzzate. In ogn caso essa consste d due fas: clusterng: s generano regon usando M cluster tenendo conto, se possble, dell stogramma. 42

43 Segmentaton: all mmagne regonalzzata ottenuta (blob-lke qund stanza d una MLL sotropa) s applcano metod d restorng. Quest hanno l vantaggo d elmnare rumor o le regon troppo pccole. Dopo qualche terazone s otterrà una convergenza verso la segmentazone con al pù M color. S not che l numero d color è defnble a pror attraverso l operazone d clusterng nzale. Nel captolo 9 verrà dettaglata una tecnca smle a questa senza esplcta fase d clusterng. 43

44 5.4 Optcal flow L optcal flow (OF) è l campo d veloctà nel pano mmagne causato dal moto dell osservatore e da quello degl oggett nella scena [20]. La msura dell OF è un fatto mportante nella CV per vare ragon. Le tecnche che vengono utlzzate a questo proposto sono essenzalmente d due tp: feature based e gradent based. Le prme danno luogo ad un flusso sparso propro perché c s nteressa solamente dell oggetto consderato e de suo spostament. Le tecnche a gradente effettuano mplcte operazon d matchng d oggett nteressandos de cambament spazo-temporal del pattern d lumnanza. S not come le prme tecnche possono calcolare grand spostament nell OF mentre le seconde sono local, propro perché usano un gradente. Le tecnche a gradente possono venre naturalmente nterpretate nell ambto MRF: sano d dat e f l flusso da calcolare [18]. Possamo defnre le funzon potenzal d clque: 2 2 V( f( x, y ) = u+ v ( ) = ( ud + vd d ) 2 d( x, y) f ( x, y) V + x y t La prma stablsce che l pattern sa smooth ne cambament mentre la seconda è l equazone che lega le lumnanze nel tempo: l pattern d flusso è legato a dat a dsposzone. Senza passare mmedatamente alle energe, vsta la lneartà, s possono combnare drettamente le due funzon potenzal d clque: V ( f d) = V( d f) + λv( f) L energa a posteror da mnmzzare è: U ( f d ) V ( f d ) = d x d y che rappresenta la classca formula trovata nel forndamentale lavoro d Horn e Schunck. 44

45 5.5 Queston sul termne d smoothness È nteressante notare che n MAP-MRF s ncorpora l termne a pror U ( f) che generalmente assume valenza d regolarzzatore della soluzone: è l termne d smoothness. Indpendentemente da MRF e MAP lo smoothness è ncorporato spesso ne problem d CV poché, n genere, sono problem Ill Posed [2] n cu la soluzone non unca e non dpende contnuamente da dat. Eventuale conoscenza a pror della soluzone è mportante per dsambguare le soluzon present e sceglere quella pù consona al problema. L ncorporazone d questo termne a pror trasforma, nella maggor parte de cas, problem Ill Posed n Well Posed. L adozone dello smoothness sgnfca spesso, però, smoothness everywhere: come applcare questo vncolo/conoscenza preservando le dscontnutà present n natura? S rprenda l termne a pror per l edge detecton: lì l energa camba forma bruscamente quando è pù convenente. Il problema è dove nserre la dscontnutà usando l termne d smoothness e come codfcare l cambamento. Solo recentemente (1995) sono appars lavor che trattano questo problema rsolvendolo con funzon chamate Dscontnuty Adaptve l cu scopo è quello d nserre de cambament brusch ma ma dscontnu, mnmzzando n ogn caso l prezzo energetco da pagare. S rmanda a fondamental lavor d L [23][24] per gl approfondment. 45

46 46

47 6 Cenn a modell d MRF hgh level Un problema fondamentale nella CV è l matchng, esatto o nesatto, fra strutture ad alto lvello: oggett, scene, ecc. [1][27]. Vare sono state le metodologe svluppate ma una buona strada sembra essere rappresentata da una rappresentazone a grafo/albero dell oggetto/scena da confrontare [24]. Così facendo, nfatt, s permette d avere una rappresentazone unfcata de concett sfruttando, tra l altro, tecnche classche d confronto tra graf. Queste però sono spesso basate su metod a sogla, ove s pesa l numero d relazon smbolche msmapped; se l rsultato è nferore ad una certa sogla l matchng è accettato altrment è rfutato. Oppure s tenta d trovare qual sono le part n comune tra le enttà da confrontare; s usa coè l concetto classco d Maxmal Clque: quale zona massma d un grafo è smle ad un altro Il vantaggo d MRF è che opera sulla contnutà della probabltà e qund non v sono né sogle né lmt d confronto n quanto qualsas soluzone trovata è quella probablmente ottma; cò permette anche l esstenza d relazon ms-mapped. S pens che la copertura parzale d un oggetto è una sorta d relazone ms-mapped. I graf utlzzat per l matchng sono denomnat Attrbuted Relatonal Structure (ARS). 47

48 6.1 Attrbuted Relatonal Strucuture Gl ARS sono rappresentabl da [22][24]: d 3 (,j,k) j d 1 (k) d 2 (j,k) k dove Nod: attrbut Lnk: vncol tra nod Una defnzone rgorosa n vsta d MRF è la seguente. Le features sono nod (st) S = { 1,...,m}. Ogn sto ha un vettore d 1 () assocato d propretà unare d [ ] () 1 () () () 2 ( K d,d (),...,d 1) () 1 = Ogn coppa d st ha un vettore d propretà bnare E cos va per propretà n-are. ARS è una trpla G = ( S,N,d) dove { d,d } d 2 d [ ] () 1 ( ) ( ) () 2 ( K, = d,,d (, ),...,d 2 ) (, ) 2 = 1,...,d H è l nseme delle propretà unare, bnare, ternare, N è determnato da legam esstent

49 + + Un ARS d modello è dentfcable da una trpla generalzzata = ( L,N, D ) G dove: L + è l nseme delle label possbl e d una nuova label (label NULL; per comodtà s attrbusce l valore 0 alla label NULL) per dentfcare tutto cò che non è modellzzable consderando L; anche l vettore delle propretà deve tenerne conto. + = { D,D } D 1 2,...,D H anche delle relazon ms-matched. + N I = { I I L,I I } consderata (connessone globale). è l nseme delle propretà unare, bnare, ecc. del modello tenuto conto è la relazone d vcnato per l modello: tutte le label tranne quella 49

50 6.2 Mappng tra ARS con MRF Il matchng tra una scena e un modello s ottene attraverso l morfsmo f :G + + ( S,N,d) G ( L,N, D ) + S tratta d trovare l morfsmo f da S a f L che è mglore sotto un certo crtero d mappatura. E possble nterpretare ( f, f,..., ) f 1 2 = come MRF dove f m V ( f ) 1 V ( f, f ) 2 v10 se f = 0 = 0 altrment v20 se f = 0 f = 0 = 0 altrment Se ne derva l costo della mappatura dato dalle due energe L energa d lkelhood ( d f) valore d modello f. La formula analtca d quest ultma è U ( f) = V( f) + V ( f, f ) U 1 2 S S N U msura la smlartà tra due vettor d e D, poché D è calcolato sul ( d f) = V ( () ) + ( ( 1 d1 f V2 d2, ) f, f ) {}, S, f 0 S 0 f s not che occorre mappare tutt st poché N relazona tutte le label: percò s tene conto solo delle label dverse da 0. Una msura d dstanza tra d e f può essere: ( f ) V d () 1 1 K1 = k= 1 () k () k 2 () k [ d () D ( f )] σ se f = 0 altrment ( f, f ) V d (, ) 2 2 = () k () k 2 () k [ d (, ) D ( f, f )] σ K se f = 0 f k = 1 0 altrment = 0 50

51 Ovvamente, U ( f d) U( d f) + U( f) = deve essere mnmzzata per trovare la f* mglore. La U(d f) msura energetcamente la dstanza d due schem e v possono essere vare msure d dstanza. 51

52 6.3 Note sul mappng Sorgono vare queston/consderazon d fronte alle formule precedent, che possono essere sntetcamente affrontate. () k I parametr σ, v devono essere scelt n n0 Pù alt sono parametr d penaltà v n0 meno features avranno NULL come matchng Le relazon smbolche possono essere rappresentate come numer: n questo caso convene () k + sceglere σ 0 che determna dstanza nfnta quando le relazon dfferscono n S può pensare ad una dstanza tra valor smbolc. Se pes/parametr ntrodott precedentemente sono troppo strngent (s voglono solo relazon precse) la mappatura rguarderà solo legam tra enttà del tutto ugual. Una scelta pù logca è quella d non penalzzare eccessvamente, consderando così anche enttà sml. 52

53 6.4 Matchng Multplo E necessaro affermare che f* è ottmo solo per l modello preso come rfermento. Se c sono M modell occorre trovare quale modello mnmzza l energa; per cu rscrvendo la funzone energa come ( f d) = E( f) = E1( f) + E ( f f ) U 2 S S S, ne derva che l costo della mappatura f è dato da ( f f ) = E ( f ) + E ( f f ) E N 1 2 S, Il modello d appartenenza del sto è dato da () () l l l = arg mn E f f l { 1...M} N Charamente v possono essere match NULL (modello non trovato). Se una scena deve essere confrontata con pù scene, l valore d confronto d coppa fornsce una msura d dstanza. Pù è bassa pù le due scene s assomglano (clusterzzazone). 53

54 6.5 Note sul NULL Matchng Il valore NULL (lo 0 dell nseme delle label L) emerge dalla soluzone quando è pù convenente per f*. Coè, poché l metodo d soluzone ha generato f* con almeno un NULL sgnfca che, dat que v n0, almeno una propretà non è mappable n alcuna propretà del modello. Nel nostro caso sgnfca che una enttà non ha trovato la sua corrspondente perché con que parametr e con quel contesto c è troppa dstanza con qualsas altra enttà d rfermento. 54

55 7 Stma de parametr Come abbamo potuto analzzare, la funzone obettvo determnata tramte MAP consente d rsolvere, rcorrendo all ottmaltà, un problema specfco. La codfca del problema avvene rtaglando opportune funzon d potenzal d clque, sano essere a pror oppure d lkelhood. La forma, qund, della funzone ottmzzante è nota ma n genere non s ha conoscenza de parametr convolt, anche se s conosce la loro natura; ad esempo, data un mmagne blob-lke s può pensare che possa essere un stanza d MRF, ma qual sono β c convolt? Non solo, parametr possono essere anche molt altr: l errore gaussano (varanza, meda), l numero d MRF present, ecc. Anche qu c possono venre n auto metod d ottmaltà statstca qual ad esempo l maxmum lkelhood [24][4][12]. Inoltre, s parla d stma Supervsed o Unsupervsed a seconda che sano note o meno delle nformazon su dat o sul numero d MRF. L potes che s effettua nella quas generaltà de cas è che v sa un unca MRF (o due MRF gerarchche) e rumore gaussano d cu occorre stmare varanza e meda. 55

56 7.1 Maxmum lkelhood S parte dal presupposto che s conosce f ma non parametr θ della P ( f). Percò s può scrvere, applcando MAP [24]: θ * = arg max P θ ( f θ) p( θ) non presumendo partcolar dstrbuzon d θ, coè supponendo unforme la dstrbuzone, s arrva a ML: θ * = arg max P θ ( f θ) Percò basta trovare parametr che massmzzano la dstrbuzone a pror del problema specfco rcorrendo alle sue dervate parzal. S not che, poché la P ( f) è esponenzale, s può faclmente massmzzare l logartmo della dstrbuzone a pror. Il problema maggore che s ncontra è la necesstà d valutare la costante normalzzante Z; nfatt, mostrando esplctamente le part che dpendono da parametr, la generca P ( f) è: P ( f θ) = 1 Z L ntrattabltà d Z è stata pù volte rcordata, per cu è necessaro rcorrere ad altr metod d stma, come ad esempo Pseudo Lkelhood. () θ e U ( f θ) 56

57 7.2 Pseudo Lkelhood Con Pseudo Lkelhood (PL) [4] s potzza che cascuno sto abba una dstrbuzone condzonata ndpendente dagl altr st e che, qund, la dstrbuzone a pror complessva altro non sa se non l prodotto d tutte le dstrbuzon condzonate parzal. Cò, charamente, rappresenta un approssmazone. E possble scrvere la funzone energa a pror come: Qund la dstrbuzone condzonale d sto è: ( f θ) = U( f, fn θ) = V1( f) + V ( f, fn ) U 2 S S N P ( f f, θ) N = e f L U e ( f,fn θ) (, θ) U f f N Percò, s defnsce Pseudo Lkelhood (PL): PL ( f) = P( f f, θ ) N = e f L U e ( f,fn θ ) ( θ ) U f,f N L approssmazone sta propro nel fatto che f e f N non sono ndpendent; s not, n ogn caso, che la costante normalzzante Z non è presente. Il calcolo de parametr avvene come per ML: massmzzazone del logartmo d PL usando le dervate parzal. Ad esempo, se la dstrbuzone a pror ha due parametr α e β, s ha: ln PL( f α,β) ln PL( f α,β) α =0 β =0 Entramb metod appena dettaglat sono, per così dre, analtc. Rsulta molto comodo, nvece, potere contare su metod che consderno mmedatamente dat a dsposzone; uno d quest metod sfrutta mnm quadrat [12]. 57

58 7.3 Least square ft La funzone energa a pror d cascuno sto è la somma delle funzon potenzal legate alle clque present; coè: U ( f, fn θ) = Vc( f θ) c: c Nel caso d una MLL, la lneartà tra parametr e tpo d clque è evdente: dove ( f, f ) N U T ( f, fn θ ) = Vc( f θ) = θ N( f, fn ) c: c N è un vettore cu element contano l numero d cascun tpo d clque presente nel vcnato d (consstente n una fnestra 3x3). V sono 10 dvers tp d clque con un vcnato d questo tpo formate da cardnaltà d 1,2 o 3: cascuna d queste clque ha un parametro, se s rcorda la tpologa MLL (c s potrebbe lmtare a clque d ordne 2 ma nella stma de parametr questa potrebbe rappresentare una lmtazone). Per contare l numero d clque basta cheders se quella clque partcolare esste nel vcnato: una clque esste quando nella forma che essa prevede valor de st sono ugual tra loro e al prmo parametro d ( f, f ) N. N Per ogn combnazone possble d label s crea un equazone del tpo: θ T [ N ( I, f ) N ( I, f )] N N ( I, f ) P N ( ) = ln P I, fn 58

59 dove ( I, ) P è la probabltà che la label (l valore) I sa presente nel vcnato f N f (la fnestra 3x3) N per tutte le combnazon, f, volte (sano ( f, ) f N f N H ) la combnazone f,. Basta suddvdere l mmagne n N blocch 3x3 e contare quante f appare; a quel punto s ha: P( f, f ) N ( f, f ) H N N =. N Il sstema è sovra-determnato rspetto al numero d ncognte; propro per questo s usano tecnche least square. 59

60 7.4 Metod smultane d stma e rsoluzone Come antcpato n precedenza, l problema della stma de parametr e l problema del calcolo del pattern ottmo possono essere rsolt, contemporaneamente [29][24], n termn d MAP; coè: * * * ( f, θ, θ ) = arg max P( f, θ, θ d) f d f, θ f, θd f d Ma anche potzzando che θ f e θ d sano tra loro ndpendent, quello che se ne rcava, seguendo MAP, è: * * * ( f, θ, θ ) = arg max P( d f, θ ) P( f θ ) P( θ ) P( θ ) = arg max P( d f, θ ) P( f θ ) f d f, θ f, θd d f f d f, θ f, θd d f Il problema non è certo facle da rsolvere. Occorrono altre potes. In partcolare, da questo punto n po, è necessaro specfcare quale sa l MRF convolto: segmentazone, restoraton, edge o altr. Cò permette d conoscere a pror come sarà l pattern. In partcolare, se c s concentra su segmentaton, potzzando che le regon che s troveranno formno un pattern blob-lke frutto d una MLL, l parametro legato al dato θ d (errore gaussano) può essere espresso n forma chusa rspetto a dat e al pattern; nfatt s ha per ogn regone I: θ * d * ( f,d) = ( σ ) = d ϕ( f ) 2 1 I I #S S I ( ) 2 I # S è l numero d pxel della regone e quella espressa è una stma ottenuta con ML; A questo punto è possble terare tra due equazon MAP fno a quando l pattern converge: θ f * = arg max P d f * * ( f, θ ( f,d ) P( f θ ) d * * * ( f, θ ( f,d ) P( f d θ ) * f = arg max P d d, θ f f f Per la soluzone de due problem MAP possono essere usat, ad esempo, ML per parametr del pattern e un metodo d rcerca dell ottmo globale o locale per l pattern vero e propro. E charo che la rcerca unsupervsed sa dell ottmo che de parametr rappresenta un problema molto complesso n quanto, prma d tutto, è necessaro rtaglare una specfca metodologa per cascun tpo 60

61 d MRF. Non solo, è anche necessaro usare tecnche che consentano d semplfcare (ad esempo ntroducendo parametr che dpendono n forma chusa da dat e dal pattern) l calcolo della stma. Avendo a dsposzone tecnche d calcolo dell ottmo potent e veloc s potrebbe pensare d effettuare tutta la computazone (la MAP generca ntrodotta ad nzo paragrafo) n una volta. Ma questo è mpensable allo stato attuale de metod d rcerca della soluzone [7]. Nel prossmo captolo s ntrodurranno propro metod d rcerca della soluzone ottma. 61

62 62

63 8 Calcolo della Soluzone La soluzone è un mnmo della funzone energa: f * = arg mnu f F ( f d) La soluzone non è n forma chusa qund n genere è necessaro usare forme teratve d rcerca [7]. La funzone obettvo che s ha a dsposzone (data da MAP) consente d formulare una mpostazone generca del problema da rsolvere usando metod che ottmzzano set dscret d label con vncol d ammssbltà della soluzone. Esstono molt metod classc che s dfferenzano tra loro prncpalmente per globaltà/localtà. Metod local possono essere: Hghest Confdenton Frst (HCF) Iterated Condtonal Modes (ICM) Hopfeld Network (HNN) Metod global possono essere: Graduated Non Convexty (GNC) Genetc Algorthm Tutt metod saranno analzzat per grand lnee, evtando d entrare ne partcolar anche perché esstono molte lbrere che l codfcano (ad esempo quella presente n Matlab 5.1 [7]). 63

64 8.1 Hghest Confdence Frst Inzalmente tutt st sono uncommtted, coè non hanno assegnato alcuna label [11]. La probabltà condzonata d un sto che assume la label f dpende dal suo vcnato dove E ( f ) = V( d f ) + V ( f f ) c c: c N 0 Vc = V c f j = unc omtted otherwse j c Coè: un sto non ha effetto nel vcnato fnché non è commtted (magar anche con la label NULL). S defnsce stabltà d un sto la possble varazone d energa dovuta all assegnazone d label nel suo vcnato. L algortmo cerca d aggornare man mano st meno stabl; quell, coè, n cu l cambamento d label permette una dmnuzone locale d energa, rendendol commtted. HCF è un metodo che resce a mnmzzare E(f*) consentendo d non preoccupars per l nzalzzazone (tutt f sono uncommtted). L nzalzzazone nfatt rappresenta per la maggor parte de metod un problema: l pattern trovato può dpendere molto dalla scelta nzale de valor d stma. 64