Modelli Parametrici RICONOSCIMENTO DI FORME. Metodi Parametrici per la Classificazione Supervisionata

Transcript

1 Modell Paramerc RICONOSCIMENTO DI FORME Meod Paramerc per la Classfcazoe Supervsoaa I meod paramerc soo quell dove s coosce, o s pozza, u modello paramerco per le x/ω. Esempo: modello Gaussao moodmesoale x/ω xn(µ, σ Se l modello della x/ω è quello a lao, allora l problema dvea solo quello d smare µ e σ. Due prcpal famle d modell paramerc: A sola compoee (spesso de moomodal Mescolaza d compoe ( mxure, ache de modell mulmodal Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol Esempo d modello a sola compoee: Gaussao zp(x x x x Esemp d modellazoe Gaussaa A lao soo mosra cas d ua mmae corroa da rumore Gaussao (ssra e rumore mpulsvo (desra. Spesso l rumore Gaussao è ua poes realsca per modellare cas semplc d mma sfuocae Perché l modello Gaussao è così usao? x Mol feome fsc e/o arfcal hao u adameo ormale (ache la dsrbuzo de vo d u esame è spesso ormale Teorema del lme cerale: la somma d N varabl casual dpede eera ua dsrbuzoe Gaussaa per N + I mol problem d paer recoo s può pesare d avere u proopo le cu saze soo corroe da ua somma d dsurb casual ed dpede I alcu cas la dsrbuzoe o è Gaussaa, ma può essere approssmaa co ua somma d Gaussae. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 3 Le dsrbuzo del score d u ssema d rcooscmeo delle mproe, parcolare quella del mposor, possoo essere modellae, ache se modo o sempre effcace, da Gaussae Dao l loro rade ulzzo praco e la semplcà, el seuo aalzzeremo a fodo classfcaor basa su modello Gaussao. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 4

2 Forma paramerca del modello Gaussao Caso moodmesoale: µ ε[ ] x µ x N( µ, σ exp πσ σ Caso muldmesoale: x ( π d Σ [ x] exp µ ε xp ( x dx Σ ε σ ( x µ Σ ( x µ [( x µ ( x µ ] ( x µ ( x µ [( x µ ( x ] ε µ x dx Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 5 + x x x dx + [( µ ] ( x µ σ ε x x dx x e µ soo veor coloa d d compoe, è la marce d covaraza d x d, e - soo l suo deermae e la sua versa Osservazo sulla marce d covaraza Propreà d Σ: Σ è ua marce smmerca: Σ Σ ; Σ è ua marce semdefa posva. Tuava, affchè l espressoe della desà d probablà Gaussaa sa be defa, Σ deve essere defa posva (fa l espressoe d x covole l versa d Σ e la dvsoe per l deermae Σ. Varabl aleaore dpede: Daa la marce d covaraza Σ σ σ L σd σ σ σ K d Σ K K O M σ σ σ d d L dd se σ 0, allora le varabl aleaore x ed x soo scorrelae ed, essedo aussae, soo ache dpede; se σ 0 per o (ossa se Σ è daoale, s ha: x x x...x d Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 6 Osservazo sulla desà Gaussaa I due dmeso: x può essere raffuraa come ua campaa d volume uaro. Curve d lvello: le sezo della campaa a quoa cosae z (curve d lvello soo ellss. Gl auoveor d Σ soo le drezo del ass delle ellss. L auoveore corrspodeza dell auovalore maore s dspoe luo l asse maore dell ellsse. zp(x x x x e y z3 z z0.5 e z0.0 x Osservazo sulla desà Gaussaa Sulla eomera d ua aussaa d-dmesoale s possoo esedere le osservazo fae per le aussae bdmesoal. I parcolare: sao λ, λ,, λ d l auovalor d Σ ed e, e,, e d corrspode auoveor; essedo Σ smmerca e defa posva, l auovalor soo u real e posv e l auoveor s possoo assumere oroormal (pù formalmee, esse ua base oroormale d auoveor d Σ; ordo covezoalmee auovalor ed auoveor modo ale che λ λ λ d ; le curve d lvello d x soo perellss d, cu ass soo dspos luo l auoveor d Σ; l asse dsposo luo e è proporzoale a ; λ perao l prmo auoveore dca la drezoe dell asse maore e l ulmo auoveore la drezoe dell asse pù coro. x Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 7 Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 8

3 Gaussaà codzoaa alle class Fora abbamo cosderao u eerco veore x d feaure aussao. Cosdero adesso u coeso mulclasse, cu u veore x d feaure è aussao quado codzoao a cascua classe ω,,,, c: x ω Ν(m, Σ,,,, c; pù esplcamee: x ω exp Σ / / ( π Σ ( x m ( x m d m è la meda d x codzoaa ad ω : m E{x ω }; Σ è la marce d covaraza codzoaa ad ω : Σ Cov{x ω } E{(x m (x m ω } per l eorema della probablà oale, la d.d.p. d x è combazoe leare d d.d.p. aussae (Gaussa mxure: c p ( x P p ( x ω Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 9 Classfcaor basa su modello Gaussao Vedamo ora qual classfcaor, ed parcolare qual p d fuzo dscrma, s possoo oeere assumedo u modello Gaussao de da Quesa aals è mporae per capre la complessà de problem d classfcazoe che possoo essere rsol pozzado u modello Gaussao de da Vedremo ache dvers p d classfcaor che s oeoo facedo dverse poes (o semplfcazo su paramer del modello Gaussao Nel caso cu p x ω N ( µ, Σ ( La fuzoe dscrmae assocaa è: ( ω + l ( P ( ω ( x l x d ( x ( x µ Σ ( x µ l π l Σ + l P( ω Il paramero fodameale che reola la complessà del modello Gaussao è ovvamee Σ; vedremo qud dvers classfcaor che s oeoo soo dverse poes sulla sruura d Σ. Prma vedamo come s può smare l valor medo µ e la marce d covaraza. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 0 Ce sulla sma d paramer Per qualsas modello paramerco è ovvo che l problema fodameale è quello d calcolare ( smare paramer. Nel caso Gaussao occorre smare valor del eleme del veore µ e della marce d covaraza,,,, c. U modo è quello d smare l valore de paramer a parre dall seme d da D. Oerremo delle sme che ovvamee dpedoo dal parcolare seme d da ulzzao: µ (D, (D. Al varare dell seme d da D a dsposzoe la sma oeua può varare ( sampl varably. Ma quesa varablà della sma o vee eua coo da ques meod d po esmavo. Nel caso d u seme d da D rade e rappreseavo la sma oeua può essere comuque soddsfacee. Essoo ache meod d sma de paramer (de meod Bayesa che eoo esplcamee coo la sampl varably. Faremo u ceo a ques meod d sma de paramer pù ava. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol Sma d Paramer a Massma Verosmlaza U approcco eerale alla sma d paramer è quello a massma verosmlaza (maxmum-lelhood esmao, ML esmao. Coceo base: la sma ML (maxmum-lelhood cosdera paramer come delle quaà cu valor soo fssa ma scooscu. La mlor sma d al valor è quella che massmzza la probablà d oeere campo D. I alre parole, quella massmamee verosmle rspeo a campo D. Ipoes eeral Problema a c class. Suppoamo d avere c daa se D,..,D c. I campo D appareoo alla classe e soo sa raccol accordo co x ω Ipozzamo che al campo sao varabl aleaore dpede e decamee dsrbue (..d., depede ad decally dsrbued Assumamo che x ω abba forma paramerca x ω, θ Ipoes semplfcava: campo D o forsco essua formazoe mero a θ se (paramer fuzoalmee dpede Omeamo l dce d classe per semplcà La sma può essere qud faa per o classe separaamee: dao l seme D d campo provee da x θ, dobbamo smare l veore d paramer θ Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol

4 Campoe casuale: campo..d. Il coceo d campo (el seso d paer /da..d. derva dalla defzoe sasca d campoe casuale Daa ua popolazoe co dsrbuzoe x, se le varabl aleaore x, che rappreseao campo D, hao ua desà coua: x, x,, x x x. x Allora l campoe D vee deo campoe casuale, e el paer recoo s parla d campo..d. Noe: I sasca l seme specfco d da/paer che s usao ella proeazoe d u classfcaore vee deo realzzazoe del campoe D Il coceo d campoe casuale è fodameale per poer rcavare delle formazo sascamee sfcave sulla popolazoe co dsrbuzoe x. Se l campoe o è casuale è facle capre che sarà meo formavo, e el suo uso dovrò essere rado d eere coo le correlazo fra campo. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 3 Sma d Paramer a Massma Verosmlaza Dao che campo soo dpede, possamo scrvere: D θ x θ verosmlaza d θ rspeo a D La sma a massma verosmlaza è l valore θ θˆ che massmzza la D θ, uvamee è l valore d θ che fa s che la x θ s accord melo co campo d esempo D. Rcordare che x/ω è la verosmlaza d x rspeo a ω. S veda lucdo successvo per ua speazoe qualava della verosmlaza Se D θ è dfferezable, possamo rovare p paramer (θ,...,θ p a massma verosmlaza co meod sadard d calcolo dfferezale. Sa p, θ θ,..., θ θ Verosmlaza Defamo la l( θ lo [ D θ ] lo [ x θ ] Loarmca Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 4 Esempo qualavo del coceo d verosmlaza A lao s mosra u seme d campo D provee da ua Gaussaa co varaza oa ma valor medo coo da smare Quale è l valor medo pù verosmle? La fura a lao mosra la fuzoe d verosmlaza per ques esempo. E uvo che θ3 è l valor medo pù verosmle per le dverse Gaussae ad uuale varaza. Problem aper: -come lo s sma? -quale è la varaza della sma? Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 5 Sma d Paramer a Massma Verosmlaza L equazoe θ l( θ 0 può forre ua soluzoe al problema d sma che sarà u massmo lobale, u massmo o mmo locale o, pù raramee, u puo d flesso Maemacamee dovre rovare ue le soluzo e po cofroarle o calcolare la dervaa secoda Charamee valor d massmo vao cerca ache fra pu d froera del domo. Va oao che la soluzoe rovaa sarà solo ua sma d θ. Cosa ovva perché samo usado u parcolare seme lmao d campo (D per calcolarla. Domada fodameale è ovvamee quao è buoa quesa sma? Coè quao d dscosa dal valore vero d θ. Vedremo pù ava alcue defzo sulla boà d ua sma Vedamo ora alcu esemp d calcolo d paramer col meodo ML Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 6

5 Sma ML: dsrbuzoe Gaussaa co µ coa Suppoamo che campo proveao da ua dsrbuzoe ormale d- dmesoale co µ o oa. Duque queso caso θ µ. Per l eerco paer x possamo scrvere: l x e θ l µ d [(π Σ ] [ x θ ] Σ ( x µ ( x La codzoe d massma verosmlaza su D è perao: l [ p ] θ x µ Σ θl ( θ l ( x θ ( Σ x µ 0 µ ˆ µ Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 7 ( x Rsulao eressae: la be oa meda campoara, che uo userebbe uvamee, è propro la sma ML per ua dsrbuzoe Gaussaa. Sma ML: dsrbuzoe Gaussaa co µ e Σ coe I queso caso l veore d paramer co è θ(µ, Σ Cosderamo l caso moodmesoale, co θ(µ,σ. Per l eerco paer x possamo scrvere: l p ( x θ l ( π σ x µ σ e θ l [ p ( x ( x µ σ θ ] + ( x µ σ ( σ Applcado la codzoe d massmo: ( x µ σ θl( θ l [ ] θ x θ 0 + ( x µ σ ( σ Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 8 Sma ML: dsrbuzoe Gaussaa co µ e Σ coe Oeamo: ( x µ 0 σ - + ( 0 x µ σ σ Da cu: ( 0 ( σ ( x µ σ - + ( x 0 µ σ σ µ µ ˆ x e ˆ x ( ˆ Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 9 Ache queso caso le sme radzoal d meda e varaza cocdoo co quelle a massma verosmlaza Sma ML: dsrbuzoe Gaussaa co µ e Σ coe S dmosra che d-dmeso s oee: µ ˆ Σˆ x ( x µ ˆ ( x µ ˆ La sma d massma verosmlaza per la meda è la meda campoara La sma d massma verosmlaza per la marce d covaraza, che è defa come E ( x µ ( x µ, è la meda delle marc Le sme a massma verosmlaza cocdoo qud co meod d calcolo uv: meda e covaraza campoare. Resa da vedere quao quese sme sao buoe. Faccamo u ceo al coceo d boà e lucd seue. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 0

6 Ce sulle propreà del smaor Ne lucd precede abbamo vso l smaor ML della meda e varaza d ua dsrbuzoe Gaussaa ( sasca soo de smaor puual ML. Abbamo lascao apero l problema della boà d ques smaor, e pù eerale della boà d uo smaore. Vedamo d dre qualcosa. Paramo dal caso specfco dello smaore del valor medo: µ ˆ x Ed aalzzamoe alcue propreà semplc. I meda lo smaore è uuale al Il valore aeso d ˆµ è: E [ ] µ x paramero µ da smare, ovvero La varaza d ˆµ è: var[ µ ˆ] var x var var( x x E( x µ σ σ N.B. la dsrbuzoe d ˆµ è ceraa su µ. La varaza dello smaore c fa vedere che lo smaore è ao pù precso quao pù l campoe D è rade. Coè ao pù D è rade, ao pù la ma sma sarà poco dspersa oro al valore vero µ. ˆµ è ua var aleaora. Daa ua realzzazoe d D, oerrò ua realzzazoe d ˆµ Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol Ce sulle propreà del smaor La propreà vsa: E [ ] x µ I eerale s rfersce alla dsorsoe (o polarzzazoe dello smaore. Uo smaore S è o polarzzao (o o dsoro se: E[S]θ, coè la meda della sua dsrbuzoe è uuale al valore vero del paramero (veore d paramer, eerale ^ La sma s dce o polarzzaa se: E [ θ θ ] 0 E uvo che ua possble defzoe d boà per uo smaore è: uo smaore è buoo se è o polarzzao ed ha varaza pccola. Meamo fra vrolee buoo perché sasca essoo vare e pù complesse defzo d boà d uo smaore, che queso corso o vedamo S dmosra che: E [ ( ] x µ σ Coè smaore ML della varaza è polarzzao. S depolarzza per rade. Smaore o polarzzao è: ˆ σ µ ( x ˆ Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol Ce sulle propreà del smaor Quado uo smaore è o polarzzao solo per rade, vee deo asocamee o polarzzao Essoo ache codzo meo resrve sulla boà d uo smaore. Ad esempo, uo smaore vee deo semplcemee cossee (o debolmee cossee se: ^ lm P ( θ θ < δ + Essoo alre possbl defzo d boà (o melo d accuraezza d uo smaore che o vedamo queso corso: -smaor a mmo scaro quadraco -smaor a mmo rscho Ecc. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 3 Classfcaor basa su modello Gaussao Assumamo d usare le sme ML vse per µ e, e d smare la probablà a pror P(ω d ua classe come la frazoe d paer d D che le appareoo. Vedamo ora qual classfcaor, ed parcolare qual p d fuzo dscrma, s possoo oeere assumedo u modello Gaussao de da. Quesa aals è mporae per capre la complessà de problem d classfcazoe che possoo essere rsol pozzado u modello Gaussao de da Vedremo ache dvers p d classfcaor che s oeoo facedo dverse poes (o semplfcazo su paramer del modello Gaussao Nel caso cu p x ω N ( µ, Σ ( La fuzoe dscrmae assocaa è: ( x ( x µ Σ ( x µ ( ω + l ( P ( ω ( x l x d l π l Σ + l P( ω Il paramero fodameale che reola la complessà del modello Gaussao è ovvamee Σ; vedamo qud dvers classfcaor che s oeoo soo dverse poes sulla sruura d Σ. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 4 P( ω

7 Modello Gaussao: caso σ I σ I sfca che Le feaure soo sascamee dpede e hao la sessa varaza. I da ( paer formao cluser (rupp persferc d deche dmeso, e cer µ x µ ( x σ d Σ σ Σ ( I I queso semplce caso oeamo: σ d ( x ( x µ Σ ( x µ lπ l Σ + l P( ω Allora la (x precedee s può rscrvere come: + l ( P( ω Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 5 Modello Gaussao, caso σ I, Classfcaore Leare Svluppado la (x precedee e oado che l erme (x x è lo sesso per u valor d, oeamo la fuzoe dscrmae leare ( x x + µ ; 0 µ l ( µ + P ω 0 σ σ è dea sola o " bas " per la -esma classe 0 La superfce d decsoe è ua porzoe d perpao d dmesoe d- defo da ( x ( x Nel osro caso l equazoe del perpa può essere scra come ( x x 0 dove 0 x 0 µ per le class co la pù ala probablà a poseror µ ( µ + µ µ P ( ω ( µ P ( ω µ Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 6 µ σ l Modello Gaussao, caso σ I, Classfcaore Leare L perpao che separa le reo R e R è orooale alla couee fra le mede I valor d P(ω e P(ω deermao la poszoe del puo x 0 cu passa l perpao Caso parcolare: P(ω P(ω per o classe P(ω dvea fluee per la classfcazoe La fuzoe dscrmae dvea ( x x µ Queso classfcaore è chamao a mma dsaza (mmum dsace classfer e vee usao ella procedura d classfcazoe dea emplae mach (dove o classe è rappreseaa dal relavo proopo µ Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 7 Esempo per l caso σ I, P(ω P(ω Esempo d dsrbuzo moodmesoal e relave superfc d separazoe per l caso σ I. Le dsrbuzo soo sferche d> dmeso, come s vede elle prossme fure Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 8

8 Esempo per l caso σ I, P(ω P(ω Esempo per l caso σ I, P(ω P(ω Esempo d dsrbuzo co d Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 9 Esempo d dsrbuzo co d3 Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 30 Caso σ I co probablà a pror dverse Esempo σ I co probablà a pror dverse Come mosrao lucd seue, al varare delle probablà a pror le superfc d decsoe raslao. Per probablà a pror suffceemee dverse le superfc d decsoe o accoo pù ra le mede delle dsrbuzo Veoo mosra del esemp per ua, due e re dmeso Se le probablà a pror soo dverse l puo d cofe x 0 s alloaa, come è uvo, dalla meda della classe pù probable Pù la varaza è pccola rspeo x σ P( ω 0 ( l + ( µ µ P( ω µ µ alla dsaza fra le mede, pù µ µ l flueza de prors dmusce Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 3 Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 3

9 Esempo σ I co probablà a pror dverse Esempo 3D, σ I, co probablà a pror dverse Caso lme cu la rade dffereza fra le P(ω m fa quas sempre decdere per ω S capsce che queso è u problema quado devo rcooscere class rare (ua paoloa rara, l raffco rusvo, lo spamm Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 33 Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 34 Modello Gaussao: caso I queso caso le marc d covaraza soo uual (ma arbrare per ue le class. I paer formao cluser perellssodal d deche dmeso e forme, cera µ Elmado dalla fuzoe dscrmae: ( x ( x µ Σ ( x µ erm dpede da, possamo scrvere: ( x ( x µ Σ d l π l Σ + l P( ω ( x µ + l P( ω Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 35 Modello Gaussao: caso e P(ω P(ω Caso parcolare: P(ω P(ω per o classe. I queso caso la fuzoe dscrmae dvea: ( ( ( x x µ Σ x µ dsaza d Mahalaobs La reola d decsoe sarà: Dao x, msuramo la dsaza d Mahalaobs fra x e o µ, e asseamo x alla classe a dsaza mma Come per l caso precedee co Σ daoale, espadedo ed elmado erm dpede da oeamo ua fuzoe leare: ( x dove : Σ x + µ ; 0 0 Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 36 µ Σ µ + l P ( ω

10 Caso : Superfc d decsoe Le superfc d separazoe ra reo R ed R adace soo perpa d equazoe Esemp caso ( x x dove 0 0 Σ x 0 ( µ ( µ µ + µ ( µ l [ P( ω P( ω ] µ Σ ( µ µ ( µ µ Dao che o è ( eerale ella drezoe d (µ -µ, l perpao o è orooale alla couee le due mede. L perpao erseca comuque ale rea x 0 ; la poszoe d x 0 dpede dalle probablà a pror Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 37 Esemp d reo d decsoe per dsrbuzo ormal uual, ma co probablà a pror molo dverse Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 38 Esemp 3D del caso Sma della marce d covaraza el caso Nel caso cu s abba ua marce d covaraza uuale per ue le class s dmosra che la sua sma a massma verosmlaza è: S C Σˆ Dea pooled h-roup sample covarace marx Dove la sma della marce Σ è faa su campo della classe ω. La sma o polarzzaa ( c class è: L perpao d decsoe può o essere orooale alla lea couee le mede delle class Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 39 S c Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 40

11 Modello Gaussao: caso arbrara I queso caso possamo elmare dalla fuzoe dscrmae solo l erme (d/l(π, oeedo: ( x ( x µ Σ ( x µ l Σ + l P( ω La (x è ua fuzoe quadraca che può essere rscra come ( x x W x + dove : W 0 - Σ ; µ Σ + l P( ω Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 4 x + µ 0 Σ µ ; Modello Gaussao: caso arbrara Problema a due class: Le superfc d decsoe soo perquadrche, e possoo assumere ue le forme eeral. Ne lucd seue damo alcu esemp. Ache el caso moodmesoale le reo d decsoe o soo ecessaramee semplcemee coesse Ne problem a c class, per deermare le superfc d decsoe è ecessaro dvduare la coppa d class covola per quella deermaa zoa dello spazo. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 4 Esemp co arbrara Esemp co arbrara Dsrbuzo arbrare e superfc d decsoe perquadrche Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 43 Dsrbuzo arbrare e superfc d decsoe perquadrche Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 44

12 Proeazoe d u classfcaore basao su modello Gaussao I lea d prcpo dovre proeare l mo classfcaore sapedo quale sruura della marce d covaraza Σ ι serve per modellare la dsrbuzoe de me da Purroppo ella realà spesso o ho quesa coosceza Pore pozzare d usare sempre la sruura pù eerale per la marce Σ ι Queso può comporare ser problem, ache el caso che l modello co marce Σ ι arbrara sa quello correo per modellare da Il calcolo della marce arbrara Σ ι compora la sma d d(d+/ paramer, che può essere u umero rade appea l umero d feaure cresce Nel caso eerale d classfcaore Gaussao dobbamo poer calcolare Σ Ma perché l versa sa defa occorre avere almeo u umero d da >d Nella praca per avere ua buoa sma d Σ ι ho bsoo d >>d, e queso umero cresce al crescere del umero delle class Quao rade deve essere è dffcle a drs e cas real d da rumoros Iolre co pccolo e da rumoros esse l problema deo overf Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 45 Sma d paramer preseza d rumore : Overf Quesoe eerale: modello pù complesso (Σ arbrara è ovvamee pù sesble a rumore, perché ha pù paramer Nella praca (dove spesso da soo poch e rumoros classfcaore basao su Σσ I può fuzoare melo d classfcaore co Σ arbrara, ache se ques ulmo è l modello correo Aaloa co reressoe : modello correo della f(x a lao è ua parabola. Ma da d esempo soo poch e rumoros Se uso modello pù eerale (polomo d rado 0 overfo da d esempo, e oeo modello molo dverso da ua parabola Per aaloa: se modello uso è Σσ I, allora usare Σ arbrara può causare overf se o ho abbasaza da Overf è u problema ache se coosco quale è modello uso Ache se uso l modello uso (es. polomo d rado 0 el caso d reressoe, o Σ arbrara el caso della classfcazoe, posso lo sesso avere overf se ho poch da e rumoros Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 46 Sma d paramer co poch da ( small sample sze Nella praca per avere ua buoa sma d Σ ho bsoo d avere >>d S può assumere, prma approssmazoe, che l accuraezza della sma d Σ arbrara sa proporzoale a d d Ovvamee ho accuraezza uuale ad uo per + (caso asoco Se Σσ d I s può assumere che l accuraezza della sma sa proporzoale a E charo che le due sme soo uualmee accurae el caso asoco o per >>d Vceversa oeo sme pù accurae pozzado Σσ I quado campo soo poch Quesa è ua speazoe approssmava della raoe per cu u classfcaore basao su Σσ I può fuzoare melo d u classfcaore co Σ arbrara Co poch da rspeo al umero d feaure ( small sample sze daa ses, è preferble usare modell semplc (Σσ I. Nel caso d >>d, s possoo vece usare modell pù compless (Σ arbrara. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 47 Reularsed Dscrma Aalyss La Reularsed Dscrma Aalyss (RDA è saa proposa da Fredma el 989 come ecca d proeo d u classfcaore Gaussao per problem co poch da ( small sample-sze daa ses e mole feaure (coè spaz ad ala dmesoalà. I parcolare per problem cu le presazo d u classfcaore quadraco o soo soddsface a causa dell ala dmesoalà dello spazo delle feaure e de poch da d addesrameo a dsposzoe. Nella RDA c soo due paramer chave: Il paramero λ, che reola la complessà della marce d covaraza (facedola varare fra due esrem d marce Σ qualsas e Σ Σ. Il paramero γ, che reolarzza ulerormee la sma della marce d covaraza. La marce d covaraza vee smaa co ua combazoe leare della sma della marce el caso Σ qualsas e della sma el caso Σ Σ. S veda l lucdo seuee. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 48

13 Reularsed Dscrma Aalyss λ ( λ S + λs Σ ( λ + λ dove 0 λ S Σ ˆ S S La marce d covaraza è smaa come combazoe leare della marce d covaraza el caso arbraro e della marce el caso Σ Σ: ˆ Σ x µ ˆ x µ ˆ ( ( Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 49 S W C Σˆ Ne cas esrem λ0 e λ s hao classfcaor quadrac e lear: ˆ λ Σ λ 0 Σ S λ Reularsed Dscrma Aalyss Il paramero γ è usao per reolarzzare ulerormee la sma della marce d covaraza: λ, γ λ ( c ( I p Σ γ Σ + γ λ Dove I p è la marce deà dxd, e c (λ è l auovalore medo della marce Σ λ. La marce d covaraza calcolaa co la formula Σ λ,γ vee alla fe usaa come sma plu- da ulzzare el classfcaore Gaussao. Come scelere valor d λ e γ? Fredma propoe d scelere valor omal usado la ecca d fold cross valdao. Vee scela la coppa d valor che mmzza l errore d classfcazoe smao co la ecca dea del -fold cross valdao (ved Capolo 3. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 50 Alr modell a sola compoee Essoo mole alre dsrbuzo paramerche a sola compoee. Ua famla mporae è quella espoezale, che comprede, olre alla Gaussaa, la dsrbuzoe espoezale, d Posso, d Rayleh, ecc. Esemp ( p x θ α( x exp[ a( θ + b( θ c( x] Dsrbuzoe espoezale pura La mulomale è la eeralzzazoe della dsrbuzoe Bomale Serve come modello per classfcaor a feaure dscree (o feaure può assumere uo fra d valor co probablà θ θx θe x 0 p ( x θ 0 alrme Dsrbuzoe Mulomale m ( θ P x Forma eerale delle dsrbuzo espoezal θ è u veore d paramer Es. la luhezza de pacche rasmess su ua ree seue approssmavamee quesa dsrbuzoe d x! θ d d d! x x x 0,,..., m 0< θ < m θ Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 5 Classfcaor basa su modell o Gaussa e msure Per la proeazoe d classfcaor basa su modell a sola compoee, o Gaussaa, essoo, per la maor pare delle dsrbuzo d eresse, smaor, ache de sasche suffce, che e coseoo d calcolare paramer (s veda l pararafo 3.6 del lbro Paer Classfcao, d R. O. Duda, P. E. Har, e D. G. Sor, Joh Wley & Sos, 000. Nel caso cu u modello a sola compoee (Gaussao o o o sa adeuao vedremo e prossm lucd modell a pù compoe (msure d dsrbuzo. Ne cas cu o s è rado d pozzare essua forma paramerca raoevole, è d rcavarla medae ua aals o supervsoaa de da, s ulzzao meod o paramerc (Capolo 5 Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 5

14 Modell a pù compoe: Msure d dsrbuzo Dae dsrbuzo p (x, p (x,., p (x, s defsce msura d dsrbuzo: mx proporos Co 0 p p ( x p 0 p 0 E ovvo che a parre da u cero po d dsrbuzoe la msura permee d creare de modell molo pù compless Ad esempo ua msura d due Gaussae è ua dsrbuzoe co cque paramer, e può rappreseare ache dsrbuzo bmodal Il modello a msura è approprao u que cas dove le class soo mul modal, o comuque c soo pù compoe da modellare E charo che per le msure cresce l umero d paramer da smare. Se o p (x ha p paramer, la msura a compoe ha [(p+ ] paramer da smare Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 53 Uso de modell a pù compoe I modell a msura hao rovao mole applcazo e cas cu paer d ua classe appareoo a dvers rupp, e cooscamo l appareeza de paer alla classe, ma o sappamo a quale ruppo apparee cascu paer all ero della classe. Predamo l caso della classfcazoe ( caeorzzazoe d es. Ua cera caeora d eso (ad es. la caeora spor può essere ua msura d dverse caeore specfche (calco, es, ec.. Cascua caeora specfca può aver bsoo d u suo modello/compoee parcolare per essere rappreseaa bee. La classfcazoe d es s basa su feaure che rappreseao la frequeza d cere parole chave. E facle capre che per le dverse caeore della classe spor le co-occorreze delle parole chave possoo essere molo dverse. I queso caso è abbasaza ovva l ulà de modell a pù compoe. E ache facle capre che se o so cosderado ua uca classe spor o avrò coosceza della caeora specfca (calco, es, ec. a cu apparee l eso/ paer da classfcare. Queso può complcare molo l problema della sma de paramer. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 54 Msure e Expecao Maxmzao: roduzoe Nella sma ML d paramer l puo chave è la massmzzazoe della verosmlaza loarmca: [ ] [ ] l( θ lo D θ lo x θ A secoda della forma della x /θ ale massmzzazoe può essere fable modo semplce o molo complessa. Ne cas cu ale massmzzazoe dvea roppo complessa s può rcorrere alla ecca erava dea Expecao Maxmzao (alormo EM. Paramo da u esempo che mee luce u caso d queso po, e vedamo po coce base dell alormo EM. Suppoamo d dover smare paramer Ψ d ua mescolaza d dsrbuzo: x Ψ π p ( x θ Ψ( π,..., π, θ,..., θ π Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 55 Expecao Maxmzao: roduzoe La massmzzazoe caso molo complessa. della verosmlaza loarmca è queso l( θ lo [ D θ ] lo π p ( x θ Per rcodurs ad ua formula semplce co ua sola sommaora servrebbe sapere a quale dsrbuzoe della mescolaza apparee o campoe x. Per far queso s può pozzare che essao de da co z cu valor dcao propro a quale dsrbuzoe della mescolaza apparee o campoe x : z,..., Se z m sfca che l campoe x apparee alla m-esma dsrbuzoe della msura. Ma allora la l(θ s può rscrvere come: l( θ lo z p ( / z x π θz ( ( θ 0 θ l Abbamo semplfcao la formula. Ma z è ua varable aleaora! Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 56

15 Expecao Maxmzao: roduzoe L uso della varable aleaora z cosee d semplfcare la formula della verosmlaza loarmca. z m sfca che l campoe x apparee alla m- esma dsrbuzoe della msura. Ero π z π m e p z (x /θ z p m (x /θ m. l( θ lo z p ( / z x π θz Vedamo d formalzzare u po melo coce. Dao u seme D (x, x,, x d paer la fuzoe d verosmlaza è: l( Ψ D Ψ π x θ Ψ( π,..., π, θ,..., θ π Come à deo o è possble eerale rsolvere l equazoe S rcorre perao a meod erav d massmzzazoe, come l meodo EM. θ l( θ 0 Expecao Maxmzao: roduzoe Suppoamo che veor x che formao l seme D(x,x,,x sao comple. Icomple el seso che per ess cooscamo l appareeza alla classe, ma o alla compoee della msura. Idchamo co y ua versoe complea del veore x. Complea el seso che al veore soo aue le compoe maca z: y (x, z Nel caso delle msure l veore z forsce l formazoe sull appareeza del veore x alla compoee della msura: z (z, z,, z Dove z se x apparee alla -esma compoee della msura. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 57 Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 58 Expecao Maxmzao L seme d da compleo vee dcao come Y(X,Z, co dsrbuzoe: (y/ψx,z/ψz/x,ψx/ψ La fuzoe d verosmlaza sarà: l( Ψ X, Z Ψ Va oao che la l(ψ è a queso puo ua varable aleaora, poché Z è scooscuo e pozzao aleaoro co ua cera dsrbuzoe. Coè l(ψ /X,Yh Z,θ (Y, fuzoe d ua dsrbuzoe h dove X e θ soo cosa e Z è la varable aleaora. La verosmlaza x/ψ può essere oeua dalla (y/ψ erado su u possbl valor d z: l( Ψ D Ψ ( x, z / Ψ dz La formula precedee è l puo chave. Perché c fa vedere che possamo calcolare la verosmlaza D/ψ medado su u possbl valor d z, dao u cero valore de paramer ψ. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 59 Expecao Maxmzao l( Ψ D Ψ ( x, z / Ψ dz Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 60 Cosa volamo? Massmzzare la verosmlaza D/ψ. Farlo dreamee modo aalco è roppo complesso per ua msura. ( ( θ 0 θ l Ma la formula precedee c fa ure che poremmo:. Come prmo passo smare la verosmlaza D/ψ medado su u possbl valor d z, dao u cero valore zale de paramer ψ. Coè poremmo calcolare u valore aeso della verosmlaza D/ψ. Abbamo però bsoo d ua sma zale de paramer ψ. (Passo d Expecao.. Ma smare la verosmlaza D/ψ come valore aeso su u possbl valor d z, sfca rcodurs al problema sadard della massmzzazoe della verosmlaza. Perché c samo sbarazza della varable aleaora z. Le uche coe che resao soo valor del veore de paramer ψ. Ma allora l secodo passo è quello d rovare l valore de paramer ψ che massmzza la verosmlaza. (Passo d Maxmzao.

16 Expecao Maxmzao Il meodo EM (Expecao Maxmsao è u meodo eravo d rcerca de paramer ψ che massmzzao la verosmlaza: A parre da ua sma zale ψ (0 vee eeraa ua sequeza d sme ψ (m ; Il meodo EM era su due pass base d expecao (E-sep e d maxmsao (M-sep; Nel passo E-sep vee smaa la verosmlaza D/ψ medado su u possbl valor d z, dao l valore corree ψ (m de paramer. Nel passo M-sep s cerca l valore de paramer ψ (m+ che massmzza la verosmlaza. Expecao Maxmzao. E-sep S calcola l valore aeso della lo((y/ψ lo(x,z/ψ rspeo a z. Assumedo o da osserva x ed pozzado d avere ua sma corree de paramer ψ (m.. M-sep Q(, E lo( ( y/ / x, ( m ( m Ψ Ψ Ψ Ψ Ψ Ψ ( m lo( ( x, z / z/ x, dz... dz S cerca l valore ψ (m+ che massmzza Q(ψ, ψ (m. Spesso la soluzoe d queso passo s può rovare forma chusa. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 6 Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 6 Expecao Maxmzao Ua vola fao l E-sep, è charo che abbamo ua fuzoe de sol paramer ψ, che possamo massmzzare come s fa comuemee ella sma ML.. Passo d Maxmzao (M-sep ( Ψ armax Q( Ψ, Ψ Ψ Puo chave è che la fuzoe che adamo a massmzzare sa pù semplce d quella d pareza raze all roduzoe della varable z. z c deve qud permeere d avere ua fuzoe aalcamee pù semplce da massmzzare. Il prezzo da paare è u passo d expecao che serve ad elmare la varable aleaora z, calcoladoe l valore aeso. I due pass veoo rpeu fo a quado l alormo o covere ad u massmo. O pù semplcemee l valore d Q calcolao è ferore (d ua cera sola a quello calcolao all erazoe precedee. EM applcao a msure Vedamo ora pass prcpal dell ulzzo del meodo EM per ua mescolaza d dsrbuzo. Cosderamo l veore compleo y (x, z che abbamo defo precedeza. La verosmlaza d y s scrve come: Che può essere scra come: (y/ψx/z,ψz/ψ x/θ κ π κ ( y / Ψ x / θ π Dove z vale zero ecceo che per. La verosmlaza d x s può scrvere come: x / Ψ ( y / Ψ π x / θ z z Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 63 Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 64

17 EM applcao a msure x / Ψ ( y / Ψ π x / θ z Dalla formula precedee s vede bee che ua mescolaza può essere erpreaa come ua dsrbuzoe d da complea, dove da maca soo le echee d appareeza alle compoe della msura. Per u seme d da abbamo: Co: Dove l veore l ha -esma compoee uuale a lo(π, l veore u ha - esma compoee uuale a lo(x /θ, ed l veore z ha compoe z,,,, dove z se l paer x apparee alla compoee -esma. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 65 ( y,..., y / Ψ x / θ π T T lo( ( y,..., y / Ψ z l + z u ( θ z EM applcao a msure Vedamo due pass base dell alormo eravo.. E-sep Q(, E lo( ( y/ / x, ( m ( m Ψ Ψ Ψ Ψ T T l u + ( θ Dove E(z / x, ψ (m. La -esma compoee del veore rappresea la probablà che x apparea alla compoee della msura, daa la corree sma ψ (m de paramer: ( m ( m x / θ ( m ( m π π x / θ Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 66 EM applcao a msure. M-sep I queso passo s massmzza Q rspeo a ψ. Massmzzado Q rspeo a π (co l vcolo che la somma de π vala s arrva all equazoe: π λ Oeua dfferezado rspeo a π, dove λ è u molplcaore d Larae, l espressoe: Q Teedo coo del vcolo su π, s dmosra che s oee la sma: Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 67 0 ( λ π π ˆ EM applcao a msure Gaussae Nel caso d ua dsrbuzoe d msure Guassae, dove θ ι (µ, Σ, s dmosra che le formule per la sma erava el meodo EM soo: x µ ˆ x ˆ π T ( ˆ ( ˆ x µ x µ ˆ T Σ ( ˆ ( ˆ x x µ µ ˆ π Il meodo EM era fra la sma de (E-sep ed l passo d massmzzazoe (M-sep dove s calcolao π, θ (µ, Σ, da valor de. Le sme de paramer al passo m dveao quelle da ulzzare per oeere la sma de paramer al passo m+. E così va fo quado la fuzoe d verosmlaza o covere. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 68

18 Ce alla Sma Bayesaa d Paramer Mere la sma ML vede valor de paramer come quaà coe ma fssae, l approcco Bayesao alla sma vede paramer come varabl aleaore d cu è oa la dsrbuzoe d probablà a pror. Obevo del processo d sma Bayesao è usare campo D per oeere ua dsrbuzoe d probablà a poseror molo srea oro al valore vero del paramero. Il coceo base della sma Bayesaa è facle da capre se pesamo, per aaloa, alla sma della classe vera ω come u problema d sma del valore d u paramero d cu abbamo ua probablà a pror P (ω. Usado l campoe x raffamo la sma : P(ω x x ω P (ω / x Esempo coceuale d suazo d uso della sma ML o della sma Bayesaa Devo smare la dsaza d u bersalo usado msure radar Se o ho essua dea d quale possa essere la dsaza allora userò la sma ML Se ho ua poes d pareza raoevole (es. dsaza-smaan(µ5,σ0.5 allora porebbe covere usare sma Bayesaa per sfruare quesa coosceza a pror Ce alla Sma Bayesaa d Paramer La x x/ω o è oa, ma assumamo che abba forma paramerca oa, x θ Assumamo d cooscere la dsrbuzoe a pror de paramer θ Per smare θ abbamo a dsposzoe u daa se D formao da campo..d., campoa da ua popolazoe dsrbua accordo co la x A dffereza della sma ML che parva dreamee dal problema d calcolare la P(D/θ, l approcco Bayesao pare dal problema eerale del calcolo d: Per ale calcolo possamo usare le relazo: x D x θ θ D dθ θ D D θ θ D θ θ dθ D θ x Coceo caraerzzae è qud l fao che l processo d sma d θ vee effeuao all ero d del calcolo eerale d x θ. Queso cosee d sfruare le formazo probablsche su θ, coè l zale θ e po la D/θ, el calcolo della x θ. θ Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 69 Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 70 Ce alla Sma Bayesaa d Paramer Suppoamo che D θ abba u pcco molo marcao θ θˆ Se θ ˆ 0 e o vara molo ell oro d θˆ, allora ache θ D ha u massmo θˆ L equazoe mosra che, queso caso, x D x θ θ D dθ x D x θˆ Se l pcco d D θ è molo marcao allora l flueza dell formazoe a pror crca l cerezza d θ può pracamee essere oraa.tuava el caso eerale l approcco Bayesao c permee d sfruare ua l formazoe a dsposzoe per l calcolo d x D Esempo d sma erava Bayesaa della meda La formula per la sma erava dpede dalla dsrbuzoe Per ch è eressao a deal s veda l Cap. 3.4 del lbro d Duda, Har, e Sor Numero d campo S o, come è uvo, che la µ/d s sre oro al valore vero del paramero al crescere del umero d campo usa Per l calcolo della θ/d essoo delle procedure erave (ved esempo qualavo ella paa seuee. Po occorre effeuare l erazoe se s vuole la x. Va deo che mol cas l rsulao della sma Bayesaa o dffersce sosazalmee da quello ML Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 7 Raffurazoe della sma erava, al crescere del umero d campo D, del valor medo µ per ua dsrbuzoe Gaussaa Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 7

19 Prcpal fo bblorafche Capol.6, 3., 3., 3.3, 3.9, del lbro Paer Classfcao, d R. O. Duda, P. E. Har, e D. G. Sor, Joh Wley & Sos, 000. Capol.,..,..,.3 del lbro Sascal Paer Recoo d Adre Webb, Joh Wley & Sos, 00. A Gele Tuoral of he EM Alorhm ad s Applcao o Parameer Esmao for Gaussa Mxure ad Hdde Marov Models d Jeff A. Blmes (hp://.vso.ehz.ch/ml/sldes/em_uoral.pdf. Alre fo relaborae dal docee. Corso d Rcooscmeo d Forme a.a. 006/07 Meod Paramerc d Classfcazoe Prof. I. F. Rol 73