UNIVERSITA DEGLI STUDI DI FIRENZE. Facoltà di Ingegneria Corso di Laurea in Ingegneria Informatica! "#$

Transcript

1 UNIVERITA DEGLI TUDI DI FIRENZE Facolà d Ingegnera Corso d Laurea n Ingegnera Informaca! "#$ ##%& '

2 ommaro OMMARIO... 1 INTRODUZIONE I DATI BIOLOGICI COME EQUENZE DI IMBOLI Qualà delle bas d da Rdondanza delle bas d da L ALLINEAMENTO DELLE EQUENZE La marce d sosuzone... 6 L AMBIENTE ROBABILITICO GLI AIOMI L INFERENZA BAYEIANA ma de paramer e selezone d un modello I MODELLI GRAFICI DUE EMLICI MODELLI ROBABILITICI...12 GLI ALGORITMI DI ARENDIMENTO ROGRAMMAZIONE DINAMICA DICEA LUNGO IL GRADIENTE ALGORITMO EM VARI AETTI DEGLI ALGORITMI DI ARENDIMENTO...17 I MODELLI DI MARKOV NACOTI HMM DEFINIZIONE HMM per le sequenze bologche Informazone a pror e nzalzzazone VEROIMIGLIANZA ED ALGORITMI FONDAMENTALI L algormo Forward L algormo Backward Ulzzo de coeffcen alfa e bea Il percorso pù probable L algormo d Verb Calcolo dell allneameno e del percorso pù probable GLI ALGORITMI DI ARENDIMENTO L algormo EM L algormo d dscesa lungo l gradene L algormo d addesrameno d Verb...41 RIULTATI E TET MIURE DEGLI ALLINEAMENTI TET Esemp d allneameno Tes sul DNA Tes sulle proene...52

3 Inroduzone L anals compuazonale d sequenze bologche descrzon d molecole d proene d DNA e d RNA ha compleamene cambao le sue caraersche alla fne degl ann 80. La prncpale causa d ques cambamen è saa l avveno d nuove effcen ecnche spermenal come l sequenzameno del DNA che hanno porao ad una cresca esponenzale de da a dsposzone. L neresse s sa progressvamene sposando dall accumulo de da alla loro nerpreazone dao che anche alr proge d sequenzameno come quello del genoma sanno andando avan velocemene. rumen compuazonal per la classfcazone d sequenze per separare le regon del DNA che codfcano proene da quelle che non le codfcano per predre la sruura molecolare per rcosrure la sora dell evoluzone e per ndvduare debol smlarà ra le sequenze sono dvenu una componene essenzale del processo d rcerca. La bonfrmaca sa emergendo come una dscplna alla fronera ra la bologa e l nformaca ed ha rpercusson n medcna nelle boecnologe e nella soceà n var mod. Le grand bas d da d nformazon bologche hanno rao govameno da comun algorm ma ale approcco non è pù n grado d ndrzzare mol de pù neressan problem d anals delle sequenze. Queso è dovuo all nerene complessà de ssem bologc ed alle lacune delle eore fnora svluppae sull organzzazone delle va a lvello molecolare. L approcco dell apprendmeno auomaco re neural modell d Markov nascos re bayesane è adao n u que domn caraerzza dalla presenza d grand quanà d da anche rumoros e dall assenza d eore general. L dea fondamenale d queso approcco è d mparare la eora auomacamene da da araverso process d nferenza d a- daameno d modell e d apprendmeno da esemp; queso rappresena un ap-

4 Allneameno rame HMM Inroduzone procco percorrble complemenare a meod convenzonal. I meod d apprendmeno auomaco sfruano pesanemene la poenza de calcolaor e raggono grand benefc dal progresso n velocà delle macchne. È sao osservao che sa la velocà de compuer sa l volume delle sequenze bologche s sono ncremenae della sessa quanà dagl ann 80 raddoppando crca ogn mes. Dal puno d vsa eorco l ambene d lavoro probablsco bayesano unfca u meod d apprendmeno auomaco e la confluenza d re faor - da calcolaor e eora servrà allo svluppo dell apprendmeno auomaco n bonformaca e alrove. Una crca spesso sollevaa a meod d apprendmeno auomaco è che sono degl approcc a scaola nera: non s può sempre capre come ma un dao modello da una cera rsposa. È mporane capre comunque che mole alre ecnche nella bologa molecolare conemporanea sono usae solamene su base emprca. 1.1 I da bologc come sequenze d smbol Una caraersca fondamenale delle caene molecolar che sono le responsabl delle funzonalà e dell evoluzone degl organsm vven è che possono essere descre come sequenze d smbol scel da un alfabeo d pccole dmenson. permenalmene le sequenze bologche possono essere deermnae con complea cerezza ed n una poszone d una deermnaa sequenza c sarà una sola leera e non un mso d dverse possblà. La naura dscrea de da genec l rende abbasanza dvers da mol alr p d da scenfc dove le legg fondamenal della fsca o la sofscazone delle ecnche spermenal necessano d lm nferor d ncerezza. Quesa caraersca ha anche un profondo mpao su p d algorm che sono sa svluppa e applca per un anals d po compuazonale. Menre spesso lo scopo è quello d sudare una parcolare sequenza con le sue funzonalà e la sua sruura molecolare l anals pcamene procede araverso lo sudo d un nseme d sequenze conssene d dfferen verson ra le vare spece oppure d dfferen verson della sessa spece. Un confrono ra le sequenze d vare spece deve enere cono della naura rumorosa de da rsulane n pare da even casual amplfca dall evoluzone: po- 3

5 Allneameno rame HMM Inroduzone ché le sequenze d DNA o d ammnoacd aven le sesse funzonalà saranno dverse modell delle sequenze devono essere probablsc Qualà delle bas d da Nonosane le sequenze d da possono essere deermnae spermenalmene con ala precsone non sono generalmene dsponbl a rcercaor se non con addzonale rumore provenene da cava nerpreazone dell espermeno e ncorrea gesone e memorzzazone ne daabase pubblc. Dao che le sequenze bologche sono mmagazznae n formao eleronco e che daabase pubblc sono cura da grupp d persone alamene dvers è forse comprensble che n mol cas la percenuale d error cresce come conseguenza della loro gesone. Un alro conrbuo non rascurable a quesa suazone è l modo n cu da sono memorzza: le caraersche delle sequenze sono normalmene ndcae per mezzo d una lsa delle poszon rlevan n formao numerco e non rame la loro funzonalà. Gl algorm d rcerca enano d cosrure approcc assocav per rovare specfche sequenze che s accordano ad una rappresenazone spesso non roppo cera del loro conenuo: queso è molo dverso dal rcercare le sequenze n base alla loro funzonalà. In quesa suazone è mporane che la bonfrmaca enga cono d quese poenzal sorgen d errore quando crea approcc d apprendmeno auomaco per la predzone e la classfcazone. Tal ecnche danno un modo alernavo e poene d rovare nformazon e annoazon erronee. In un nseme d da se qualcosa è dffcle da mparare è alamene probable che esso rappresen o un caso apco o un errore. Una delle ragon del successo delle ecnche d apprendmeno auomaco su domn d da mperfe è che al meod sono capac d gesre l rumore presene ne da Rdondanza delle bas d da Un alro problema che rcorre nell anals delle sequenze bologche è le rdondanza de da. Dvers grupp d persone possono nserre da che s rferscono a sequenze gà essen provocando delle duplcazon delle sesse sequenze che posso essere o meno denche a quelle presen. L uso d da rdondan può essere una sorgene per var p d errore. er lo pù u gl approcc d apprendmen- 4

6 Allneameno rame HMM Inroduzone o auomaco hanno de problem quando cere sequenze sono rappresenae mole vole: ad esempo se l nseme de da è usao per predre cere caraersche le sequenze usae per addesrare l modello saranno molo correlae a quelle usae per l es del modello e s avrà una sovrasma della capacà predva. Benché sano sa propos alcun algorm per rsolvere queso problema è spesso meglo pulre l nseme de da n modo da rendere ue le sequenze ugualmene rappresenae; può essere coè necessaro evare le sequenze molo correlae. D alra pare una precsa defnzone d molo correlae dpende sreamene dal problema n esame. Una sraega alernava consse nel pesare le vare sequenze n accordo alla loro novà. Un grande rscho d queso approcco è quello d pesare molo da erra. I meod d apprendmeno auomaco sono capac d esrarre le caraersche essenzal da var esemp e d scarare l nformazone non desderaa quando presene; nolre sono capac d rovare pù complesse correlazon e non lnearà presen nelle sequenze esamnando le propreà sasche de segmen che sono alamene nformave. 1.2 L allneameno delle sequenze er ruscre a rovare caraersche funzonal o sruural comun ad un nseme d da le nuove sequenze aggune ad un a base d da sono normalmene allneae a ue le alre presen. Il problema fondamenale che sorge è d deermnare quando le smlarà sono suffcenemene grand n modo che s possa nferre una somglanza sruurale o funzonale dall allneameno delle due sequenze. In alre parole dao un meodo d allneameno che ha scopero cere sovrapposzon ra le sequenze s può defnre una sogla che m dce se le sequenze sono omologhe? La rsposa a quesa domanda è non banale e dpende neramene dalla parcolare sruura o funzonalà che s vuole esamnare; ale sogla sarà dfferene per ogn compo. La msura d quano due sequenze sono allneae non è la sessa araverso l nero domno delle sequenze e le corrspondenze prodoe dagl algorm d allneameno dpendono da var faor come ad esempo se l algormo è sao progeao per omzzare una funzone localmene o globalmene. Alcun problem d rlevanza bologca hanno bsogno d effeuare un confrono globale ra due sequenze menre alr analzzano solo una soosequenza de 5

7 Allneameno rame HMM Inroduzone segmen: s parla allora d allneameno globale o locale. I classc algorm d allneameno sono basa sulla programmazone dnamca che ha però l dfeo d essere esponenzale nel numero d sequenze: deo K l numero d sequenze da allneare ed N la lunghezza meda delle sequenze s ha che la complessà è dell ordne d ON K La marce d sosuzone Lo schema d allneameno è nfluenzao dalla scela della marce d sosuzone che sablsce un coso per var even prodo dall evoluzone. Una marce d sosuzone specfca un nseme d cos s j per la sosuzone d una leera dell alfabeo con un alra. Alcune marc sono generae da un modello semplfcao dell evoluzone delle proene che nvolve le frequenze p degl ammnoacd e le frequenze d sosuzone q j d coppe d ammnoacd osservae negl allneamen naural delle sequenze. Una corrspondenza che neressa un ammnoacdo raro dovrebbe conare molo d pù d una che neressa un comune ammnoacdo menre un errore ra due ammnoacd nercambabl dovrebbe conrbure d pù d uno ra due ammnoacd funzonalmene ncorrela. Un esempo d marce d sosuzone che s rfersce a sequenze d DNA è la seguene: A C G T Gap - A C G T Gap può dmosrare che ogn elemeno della marce d sosuzone può essere scro nella forma: sj 1 ln λ qj p p j dove λ è un faore d scala. Modfche del valore d λ camberanno valor assolu de cos ma non cos relav de dfferen allneamen e queso non andrà ad nfluenzare l allneameno. Le pù semplc marc d sosuzone sono quelle 6

8 Allneameno rame HMM Inroduzone n cu u gl elemen della dagonale hanno lo sesso valore posvo s menre gl alr hanno lo sesso valore negavo s. Dae qund due sequenze X 1 X N e Y 1 Y M che s sono evolue nel empo l allneameno consse nel mnmzzare un cero coso ndoo dalla marce d sosuzone. 7

9 L ambene probablsco L apprendmeno auomaco è un dreo dscendene d una dscplna pù veccha l adaameno d modell sasc a da osserva e come ques ulma ha lo scopo d esrarre nformazon ul da un nseme d da cosruendo de buon modell probablsc. La prncpale novà che nroduce è quella d auomazzare l processo fnché possble spesso ulzzando modell con un grande numero d paramer; queso approcco s adaa bene n quelle suazon n cu sono dsponbl grand quanà d da ma dove non esse ancora una eora consoldaa. Inolre se da dsponbl sono affe da rumore e samo qund cosre a ragonare n un ambene ncero l approcco bayesano c fornsce una eora robusa che unfca dfferen ecnche. Le prncpal caraersche dell approcco bayesano possono essere rassune ne seguen pun: 1. Ulzza poes o modell con ua l nformazone d soofondo e da dsponbl. 2. Usa l lnguaggo della eora della probablà per assegnare probablà a pror a modell o poes. 3. Usa l calcolo delle probablà per valuare le probablà a poseror delle - poes o de modell alla luce de da dsponbl e per fornre una rsposa unvoca a cer ques. uò essere provao n senso maemaco sreo che queso è l solo modo d ragonare conssene n presenza d ncerezza.

10 Allneameno rame HMM L ambene probablsco 2.1 Gl assom In generale un modello può essere vso come un poes con la dfferenza che modell endono ad essere poes molo complesse che neressano un grande numero d paramer. In generale un modello verrà ndcao con M Mw dove w è l veore d u paramer. Daa una cera conoscenza d fondo I s può assocare ad ogn poes X un cero grado d credenza che ndcheremo con hx I che deve soddsfare a seguen assom: 1. se hx I > hy I e hy I > hz I allora hx I > hz I 2. hx I F[hX I] dove X rappresena la negazone d X 3. hx Y I G[hX I hy X I] può provare che esse sempre un faore d scala k de grad d credenza per cu: X I k hx I [0 1] dove è unco e soddsfa ue le regole delle probablà. Da al assom s può rcavare l fondamenale eorema d Bayes: X Y I Y X I X I / Y I 2.2 L nferenza bayesana Il prncpale po d nferenza a cu samo neressa è quella d dervare un modello M Mw da un nseme d da D. er semplcà elmnamo l nformazone d fondo dalle equazon che seguranno. Dal eorema d Bayes s ha che: M D D M M / D 9

11 Allneameno rame HMM L ambene probablsco La probablà a pror M rappresena la sma che l modello sa correo prma d aver oenuo qualunque dao. La probablà a poseror M D rappresena un aggornameno della probablà del modello M dopo che sono sa esamna da D. Il ermne D M vene chamao verosmglanza. In mol cas le probablà possono essere molo pccole così che è pù facle lavorare con logarm: log M D log D M + log M - log D. er quano rguarda le probablà a pror quando le dsrbuzon non sono unform s ulzzano dsrbuzon gaussane Gamma o d Drchle: la caraersca fondamenale d al dsrbuzon è quella d non assegnare la probablà nulla ad nessun eveno casa nvece che può accedere con una dsrbuzone unforme ma de paramer e selezone d un modello Daa una cera classe d modell due modell M 1 e M 2 possono essere confrona rame le loro probablà M 1 D e M 2 D. pesso s pone l problema d rovare l mglor modello d una classe coè d rovare un nseme d paramer w che massmzz la probablà a poseror M D o log M D: quesa è chamaa sma de paramer massmzzando la probablà a poseror MA. er lavorare con quanà posve queso equvale a mnmzzare: E - log M D - log D M - log M + log D. Il ermne D goca l ruolo d cosane d normalzzazone e non dpende da paramer w qund l suo ruolo è nnfluene per l omzzazone. e la probablà a pror M è unforme su u modell consdera allora l problema s rduce a rovare l massmo d D M o log D M: quesa è chamaa sma de paramer massmzzando la verosmglanza ML. Rassumendo la sma MA cerca d mnmzzare la quanà E - log D M - log M menre la sma ML cerca d mnmzzare la quanà 10

12 Allneameno rame HMM L ambene probablsco E - log D M. Trovare un modello omo per una daa classe d modell ha senso solo se la dsrbuzone M D è concenraa aorno ad un unco pcco. In mol cas n cu c è un elevao grado d ncerezza ed n cu la quanà d da è relavamene pccola samo neressa alla funzone M D sopra l nero spazo de modell puoso che solo su un cero massmo e soprauo samo neressa nel calcolare le mede rspeo a M D. A parà d probablà è meglo sceglere l modello pù semplce. 2.3 I modell grafc Una vola che l ambene probablsco bayesano è sao defno l dea successva è quella d ulzzare modell grafc. oché nell anals bayesana l puno d parenza è per lo pù sempre una dsrbuzone d probablà d grado e- levao ale espressone deve essere decomposa e semplfcaa. La pù comune semplfcazone è quella d assumere che alcune varabl sano ndpenden o pù precsamene che alcun nsem d varabl sano ndpenden daa la dpendenza condzonale con alr nsem d varabl. Quese relazon d ndpendenza possono essere spesso rappresenae da un grafo dove le varabl sono assocae con nod e un collegameno mancane rappresena una parcolare relazone d ndpendenza. Le relazon d ndpendenza permeono la faorzzazone della dsrbuzone d probablà d grado elevao n un prodoo d semplc local dsrbuzon assocae a pccol grupp d varabl correlae fra loro. I modell grafc possono essere suddvs n due grand caegore a seconda se gl arch assoca sono orena o meno. I modell grafc non dre sono mpega n quelle suazon n cu le nerazon sono consderae compleamene smmerche menre modell grafc dre sono ul n quelle suazon n cu le nerazon non sono smmerche e rfleono relazon casual o rreversblà emporale. Il lnguaggo d rappresenazone de modell grafc è ule nella maggor pare delle applcazon d apprendmeno auomaco; le re bayesane le re neural modell d Markov nascos rappresenano un esempo d al meodologe. 11

13 Allneameno rame HMM L ambene probablsco 2.4 Due semplc modell probablsc Il pù semplce modello probablsco per le sequenze bologche consse nell usare un sngolo dado. upponamo che da D sano delle sequenze d DNA su un alfabeo A {A C G T} d quaro leere. Il pù semplce modello è quello d assumere che le sequenze sano sae oenue lancando un dado con quaro facce una per leera dell alfabeo e che var lanc sano ndpenden ra loro. Qualunque sa la classe d modell ulzzaa l prmo passo consse nel calcolare esplcamene la verosmglanza e nell assegnare una probablà a pror. upponamo che da sano cosu da una sola sequenza d lunghezza N: D {} con 1 N e A. I paramer del nosro modello M sono le quaro probablà p A p C p G p T la cu somma deve fare 1. La verosmglanza è daa da: D M X A n p X X dove n X è l numero d vole che la leera X appare nella sequenza. Un alro modello semplce consse nell usare pù dad. upponamo che da sano cosu da K sequenze ognuna d lunghezza N. er esempo s porebbe pensare ad un allneameno mulplo delle K sequenze dove l smbolo - porebbe essere consderao un smbolo dell alfabeo. In queso modello assumamo che c sano N dad ndpenden uno per cascuna poszone e che ogn sequenza è l rsulao d aver lancao gl N dad n un ordne fssao. a X con l dado numero e sa p X la probablà d produrre la leera n X l numero d vole che la leera X appare nella poszone ; poché s assume che l dado e le sequenze sano ndpenden la verosmglanza è daa da: N D M 1 X A p n X X 12

14 Allneameno rame HMM L ambene probablsco I successv modell che cosruremo non sono alro che raffnamen d ques semplc modell che prendono n consderazone aspe aggunv d cu non s è enuo cono: modell d Markov nascos sono un oma classe d modell per ruscre ad allneare grupp d sequenze con una complessà lneare nel numero d sequenze. 13

15 Gl algorm d apprendmeno Dopo aver cosruo un modello paramerzzao Mw per l nseme de da l passo successvo consse nell esegure uno de seguen pun: la sma complea della dsrbuzone w D e della probablà a poseror w D la sma dell nseme omo de paramer w massmzzando w D la sma de valor med rspeo alla probablà a poseror coè per esempo dell negrale della forma E f f w w D dw. Gl algorm d apprendmeno possono qund essere suddvs n re caegore a seconda se l obevo è quello d smare una densà d probablà un nseme de suo paramer o le corrsponden mede. può affermare anche che un qualunque problema può essere rformulao come un problema d omzzazone. 3.1 rogrammazone dnamca Il ermne programmazone dnamca s rfersce ad una ecnca generale d omzzazone che può essere applcaa ad un problema scomponble n sooproblem sml ma d dmensone pù pccola così che la soluzone del problema orgnaro può essere oenua meendo nseme le soluzon de problem pù pccol. Il pco problema a cu può essere applcaa la programmazone dnamca è quello

16 Allneameno rame HMM Gl algorm d apprendmeno d rovare l percorso pù breve ra due nod d un grafo. Charamene l percorso pù breve dal nodo A al nodo B che passa per l nodo C è la concaenazone del percorso pù coro da A a C con l percorso pù coro da C ad A. Queso è anche noo come l prncpo d Bellman. La soluzone del problema generale è cosrua rcorsvamene unendo le soluzon de sooproblem pù semplc. Gl algorm d allneameno possono essere vs n ermn d rovare l percorso pù breve n un approprao grafo con un deermnaa merca. Allneare due sequenze d lunghezza N rchede d rovare l percorso pù breve n un grafo con N 2 verc. oché la programmazone dnamca essenzalmene rchede d vsare u verc una vola è facle vedere che la complessà n empo è dell ordne d ON 2. La programmazone dnamca e l algormo d Verb saranno usa per calcolare la verosmglanza e l allneameno delle sequenze usando modell d Markov nascos. 3.2 Dscesa lungo l gradene pesso samo neressa alla sma de paramer coè a rovare l mglor modello Mw che mnmzza la probablà a poseror fw - log w D o la verosmglanza - log D w. Tue le vole che fw è dfferenzable s può cercare d rovare suo mnm usando uno de pù vecch algorm d omzzazone la dscesa lungo l gradene. Come ndca l nome la dscesa lungo l gradene è una procedura erava che può essere espressa veoralmene come: w + 1 w f η w dove η è la lunghezza del passo o learnng rae che può essere fssa o aggusaa durane l processo d apprendmeno. Menre l dea generale della dscesa lungo l gradene è semplce usando modell paramerzza molo compless s possono avere vare mplemenazon dpenden da come realmene vene calcolao l gradene. Ne modell grafc spesso s rchede la propagazone dell nformazone all ndero: queso è l caso de modell d Markov nascos n cu servono una procedura d propagazone n avan e una all ndero la procedura forward ba- 15

17 Allneameno rame HMM Gl algorm d apprendmeno ckward. Ovvamene l meodo d dscesa lungo l gradene dpende dalle condzon nzal e se la funzone che deve essere omzzaa ha mol mnm o massm local non è deo che s resca ad ndvduare l omo globale. 3.3 Algormo EM Un alra classe mporane d algorm d omzzazone è la massmzzazone della meda EM che nel cas de modell d Markov nascos è chamaa algormo d Baum-Welch. L ulà d ques algorm è rvola soprauo a modell d Markov nascos e fa uso del conceo d energa lbera. L algormo EM è ule ne modell con varabl nascose: pc esemp d varabl nascose sono da mancan o non osservabl e nod nascos n un modello grafco. e D denoa da supponamo che sa dsponble una versone paramerzzaa della dsrbuzone d probablà conguna delle varabl osservae e nascose D H w. Nel caso d maggore neresse w ndca paramer d un modello. upponamo d voler massmzzare la verosmglanza log D w le sesse dee possono essere esese ad una sme d po MA. oché n generale è dffcle omzzare log D w dreamene l dea base è quella d cercare d omzzare la sua meda: Elog D w Elog D H w - log H D w. L algormo EM è un algormo eravo che procede n due pass che s alernano l calcolo della meda ed l passo d massmzzazone. Durane l calcolo della meda vene calcolaa la dsrbuzone delle varabl nascose avendo a dsposzone da osserva e la correne sma d w. Durane l passo d massmzzazone paramer sono aggorna al mglor valore possble essendo noa la presuna dsrbuzone delle varabl nascose. I calcol de var pass fanno uso dell energa lbera del modello: s raa d mnmzzare ale funzone che è sreamene collegaa alla meda della verosmglanza. 16

18 Allneameno rame HMM Gl algorm d apprendmeno 3.4 Var aspe degl algorm d apprendmeno In un modo o nell alro la scela d un modello deve enere cono del numero de paramer per cercare d evare fenomen d sovrapprendmeno o sooapprendmeno de da. Un approcco per queso problema è quello d pesare la funzone da apprendere con un ermne che ene cono della complessà del modello. Un modo per evare overfng quando l modello ha ropp paramer rspeo a da è quello d suddvdere l nseme de da n due par: una pare servrà per addesrare l modello e verrà chamaa ranng se menre l alra servrà per valuare le presazon del modello e verrà chamaa es se. Ognuno de due nsem d da darà orgne ad un cero errore: l errore d addesrameno decrescerà monooncamene al crescere del numero delle epoche menre l errore sull nseme d es raggungerà un mnmo e po comncerà a crescere. Il fenomeno dell overfng è assocao con la memorzzazone de da nseme al loro rumore fno al puno che è dannoso per la generalzzazone. L approcco correo n una ale suazone sarebbe quello d modfcare l modello. Un alra alernava è quella d fermare l addesrameno quando l errore sul es se ncomnca a crescere o quando l errore sul ranng se ha ragguno una cera sogla. Comunque ques ulma ecnca può lascare un parzale overfng de da. Inolre per oenere un correo addesrameno ue le class d da dovrebbero essere egualmene rappresenae nel ranng se. Gl algorm d apprendmeno s possono suddvdere n due class a seconda se l aggornameno avvene dopo ogn esempo oppure dopo l nero nseme d esemp. L addesrameno è deo on-lne se l aggusameno de paramer del modello avvene dopo la presenazone d ogn esempo menre è deo bach se paramer sono aggorna dopo la presenazone d un grande numero d e- semp se non d u. L apprendmeno on-lne non rchede d enere n memora mol esemp ed è pù flessble e pù facle da mplemenare; può però nrodurre un cero grado d casualà legao al fao che l aggornameno avvene sulla base d un solo esempo. uò essere dmosrao che l apprendmeno on-lne fao con un asso d apprendmeno suffcenemene pccolo approssma l apprend-meno bach. Un ulma osservazone rguarda modell che s oengono dopo l addesrameno. Quando un modello complesso vene adaao a da per mezzo d una 17

19 Allneameno rame HMM Gl algorm d apprendmeno omzzazone d po ML o MA s oengono de paramer dfferen se s varano cer faor durane la procedura d apprendmeno come ad esempo la procedura d addesrameno l ordne d presenazone degl esemp l ranng se. Inolre possono essere mpegae class d modell dfferen. È naurale pensare che la mglore classfcazone o predzone possa essere ragguna medando paramer de var modell oenu n mod dvers. 18

20 I modell d Markov nascos HMM Il problema che s pone ogn vola che vene ndvduaa una nuova sequenza bologca è quello d vedere se presena delle smlarà con le alre sequenze gà presen nell archvo: queso può essere fao confronando le sequenze due a due. Il problema dvena ancora pù complesso nel caso sa abba a che fare con sequenze ncomplee o con frammen d sequenze cosa che è molo comune se s ha che fare con l genoma umano. È ceramene d grande neresse rconoscere e classfcare al frammen anche perché s pensa che coprano una sosanzale frazone se non uo l genoma umano. Gl HMM formano una classe u- le d modell grafc probablsc che può servre a confronare non coppe d sequenze ma nsem d sequenze per scoprrne le caraersche comun. 4.1 Defnzone Un HMM dscreo del 1 ordne è un modello probablsco per le sere emporal defno da: un nseme fno d sa un alfabeo dscreo d smbol A una marce delle probablà d ranszone T j una marce delle probablà d emssone E X

21 Allneameno rame HMM - Modell d Markov Nascos dove j ndca la probablà d ranszone dal nodo j verso l nodo e X ndca la probablà che l nodo emea l smbolo X. Il ssema evolve casualmene da uno sao all alro menre emee smbol dall alfabeo. parla d modello del 1 ordne perché le ranszon e le emsson dpendono solo dallo sao correne e non dal passao. In agguna agl sa precedenemene nomna c sono due sa specal lo sao ar e lo sao End. Al empo zero l ssema s roverà sempre nello sao ar. Le probablà d ranszone e quelle d emssone sono paramer del modello. Daa una cera archeura d HMM è d neresse calcolare la probablà d una sequenza dao l modello verosmglanza qual è l percorso pù probable assocao con una daa sequenza e nfne suppos non no paramer s voglono valuare loro valor alla luce de da osserva HMM per le sequenze bologche er quano rguarda l alfabeo s avrà un alfabeo cosuo da 20 ammnoacd nel caso delle proene menre s avrà un alfabeo cosuo da 4 nucleod nel caso d DNA o RNA. La scela d una archeura per l HMM dpende foremene dal problema. Nel caso d sequenze bologche l aspeo lneare delle sequenze è ben rappresenao dalla cosddea archeura lef-rgh. d m E Fgura 1: L archeura lneare sandard 20

22 Allneameno rame HMM - Modell d Markov Nascos Un archeura lef-rgh non permee l rorno n uno sao se è avvenua una ranszone da quello sao n un alro sao. L archeura lef-rgh pù usaa per le sequenze bologche è l archeura sandard lneare della fgura 1. Comncamo cercando d modellare una famgla d sequenze correlae fra loro. L archeura sandard rappresena una semplce ma fondamenale varazone del modello con l dado. Il prncpale problema d ale modello è che la lunghezza delle sequenze non è cosane ma sono presen cancellazon e nsermen: l archeura sandard rsolve ale problema n modo semplce. Olre a due sa ar ed End c sono alr re p d sa chama rspevamene man nser e delee. L nseme oale de sa vene ndcao con {ar m 1 m N 1 N+1 d 1 d N End}. La lunghezza del modello N è d solo uguale alla lunghezza meda dell nseme d sequenze. Gl sa man ed nser emeono sempre un smbolo dell alfabeo menre delee sono mu. Come s può vedere l modello conene uno sao d cancellazone per ogn nodo d po man menre c è una corrspondenza bunvoca ra gl sa d nsermeno e le ranszon ra nod della spna dorsale fla cenrale; nolre gl sa d nsermeno hanno un loop su se sess. L archeura del grafo e la pologa de nod rsolvono n modo effcene l problema delle cancellazon e degl nsermen; l loop sugl sa d nsermeno consene anche degl nsermen mulpl. Cerchamo adesso d valuare l numero d paramer d ale modello. Dea A la cardnalà dell alfabeo s hanno N + N + 1 A 2N + 1 A paramer d emssone. er quano rguarda l numero de paramer d ranszone valuamo gl arch uscen da ogn nodo: u nod hanno re arch uscen meno che lo sao End e gl ulm sa d ogn po; qund 3N N N + 2 9N + 3 paramer d ranszone. Nel caso d DNA o RNA l numero oale d paramer è 17N + 4 menre se s ha che fare con le proene ale numero sale a 49N + 4. Inolre s hanno 2N + 1 vncol d normalzzazone sulle probablà d emssone e 3N + 1 vncol d normalzzazone sulle probablà d ranszone Informazone a pror e nzalzzazone A causa della naura mulnomale del modello assocaa alle emsson ed alle ranszon la probablà a pror pù naurale per paramer è la dsrbuzone d Drchle. er ranszon s possono usare delle dsrbuzon d Drchle con lo 21

23 Allneameno rame HMM - Modell d Markov Nascos sesso paramero oppure con paramer dfferen; è da noare che l veore su cu è cenraa la dsrbuzone non è unforme n quano dovrebbero essere predomnan le ranszon verso gl sa man. er paramer d emssone s possono usare dsrbuzon con lo sesso paramero o con paramer dsn menre l veore su cu è cenraa la dsrbuzone può essere unforme od uguale alla composzone meda frequenzale del ranng se. er quano rguarda l nzalzzazone de paramer le ranszon devono essere aggusae n modo da favorre gl sposamen verso gl sa man menre le emsson possono essere nzalzzae n modo unforme a caso o con le frequenze delle composzon mede del ranng se. Una nzalzzazone che deva molo da quella unforme può produrre degl effe ndesdera se vene usao l algormo d Verb per l addesrameno. 4.2 Verosmglanza ed algorm fondamenal In queso paragrafo vedremo come calcolare la verosmglanza e l percorso pù probable assocao ad una daa sequenza bologca. Tu gl algorm usa sono d po rcorsvo e possono essere vs come un applcazone d programmazone dnamca o come una propagazone de da nel grafo dreo assocao con l HMM. Ques algorm cosuscono la base per successv algorm d apprendmeno. Cerchamo nnanzuo d calcolare la verosmglanza w d una sequenza 1 T rspeo ad un cero HMM M Mw dove w è l nseme de paramer. defnsce un percorso π n M un nseme d sa consecuv che parono dallo sao ar e che fnscono nello sao End con assocaa l emssone d una leera per ogn sao d emssone man ed nser. La probablà d rovare un percorso le cu emsson concdano con quelle della sequenza osservaa è daa da: π w End ar j T 1 22

24 Allneameno rame HMM - Modell d Markov Nascos dove l prmo prodoo rguarda ue le ranszon lungo l percorso π ed l secondo corrsponde a ue le emsson delle leere della sequenza dagl sa facen pare del percorso π. Ovvamene se una sequenza d emsson lungo l percorso non concde con s ha che π w 0. La verosmglanza può essere calcolaa come: π w π w. Quesa espressone non cosusce un meodo d calcolo compuazonalmene effcene per calcolare la verosmglanza n quano l numero d percors n un archeura è pcamene esponenzale. deve qund rovare un meodo pù effcene per calcolare ale valore e queso può essere fao usando un meccansmo d propagazone eravo lungo l grafo dell HMM. D seguo vengono rporae le due procedure fondamenal d propagazone n avan ed ndero che servranno come base per le alre procedure L algormo Forward Defnamo nnanzuo la probablà conguna α d rovars nello sao a- vendo osservao prm 1 smbol della sequenza da paramer del modello nel seguene modo: N... w α 1 1 dove N ndca l eveno d rovars nel nodo al empo menre 1-1 ndcano smbol della sequenza al empo 1-1. Ovvamene ue le probablà ulzzae sono condzonae dal modello qund per semplcà d noazone non sempre verrà rporao queso parcolare. L algormo eravo per l calcolo d al probablà può essere nzalzzao nel seguene modo: α ar0 1 α ems0 0 23

25 Allneameno rame HMM - Modell d Markov Nascos dove ems s rfersce a u gl alr nod d emssone. può osservare che: w α End T + 1. Il generco elemeno α può essere calcolao rcorsvamene nel seguene modo dsnguendo nod d emssone da quell d cancellazone: α N N 1 j N N 1 j 1 N j G α j 1 j 1 se E j G N j G j N N 1 j j G α j j se D dove j ndca la probablà d ranszone dal nodo j verso l nodo e -1 ndca la probablà che l nodo emea l - 1-esmo smbolo della sequenza; E ndca l nseme d u nod d emssone D quello de nod d cancellazone G l nseme de genor del nodo. Ovvamene N N -1 j j poché le ranszon non dpendono dal empo e così anche per le emsson. Da qu n po s soenderà la dpendenza dal empo quando non necessara e dunque s scrverà per esempo N N -1 j come j. er quano rguarda gl sa d emssone l generco α sarà dao dalla somma su u genor del nodo degl αg - 1 molplca per la probablà d ranszone dell arco che va da G ad l uo molplcao per la probablà d emssone del smbolo -1 da pare del nodo. Noamo che per gl sa d cancellazone è necessaro u- 24

26 Allneameno rame HMM - Modell d Markov Nascos lzzare una relazone dfferene: queso perché al sa non emeono alcun smbolo dell alfabeo e qund la probablà α sarà daa dalla somma su u genor del nodo degl αg molplca per la probablà d ranszone dell arco che va da G ad. Queso porebbe creare qualche problema nella fase d aggornameno degl sa d cancellazone poché n generale al empo non sono no u gl α n quano la conoscenza d al probablà dpenderà dall ordne n cu le calcolamo. e però ogn sao d cancellazone ha al pù un genore che sa esso sesso sao d cancellazone sfruando quesa propreà che nduce un ordnameno ra gl sa d cancellazone possamo calcolare gl α per al sa nel seguene modo: 1. calcolano prma u gl α per gl sa d emssone. 2. consdera po quello sao d cancellazone che non ha ra suo genor un alro sao d cancellazone e s calcola l corrspondene valore d α. Qund s procede al calcolo d α per quel fglo del precedene nodo che è sao d cancellazone; s prosegue così rcorsvamene n modo da dsporre per ogn nodo d cancellazone d u gl αg necessar. Al empo T + 1 come anche al empo 0 non dsponamo d alcun smbolo della sequenza e dunque c lmamo ad aggornare le preceden formule usando la sola probablà d ranszone. Ecco quella pare d programma che s occupa d aggornare gl α : parnod[0].sealfa0 1; for 0; < l+1; ++ { // aggornameno de nod d emssone for 0; < nnod; ++ f nod[].getpo! 2 { f 0 &&! 0 parnod[].sealfa0 0; else f > 0 && < l parnod[].calcalfa *arch seq[-1] parnod; else f l+1 parnod[].calcalfa *arch 0 parnod 1; } // aggornameno de nod d cancellazone n ordne 25

27 Allneameno rame HMM - Modell d Markov Nascos for 0; < nnod; ++ f nod[].getpo 2 parnod[].calcalfa *arch seq[-1] parnod; } // scalaura degl alfa scalcoef[] 0; for 0; < nnod; ++ scalcoef[] + parnod[].gealfa; for 0; < nnod; ++ parnod[].sealfa parnod[].gealfa/scalcoef[]; fa uso d due ccl annda: quello eserno scandsce u emp a parre da 0 fno a T + 1 ncluso menre quello nerno esamna u nod. Come prma cosa vengono aggorna nod d emssone po dverso da 2 po quell d cancellazone po uguale a 2 secondo l ordne mposo dall archeura del grafo. Infne u coeffcen calcola vengono scala con un opporuno coeffcene d scalaura par alla somma d u gl α a quel empo: s errà cono d ques coeffcen quando ne sarà necessaro n modo che rsula fnal non ne sano nfluenza. È uava molo ule scalare gl α per sablzzare compuazonalmene l algormo. Valuamo la complessà d ale algormo: dea T la lunghezza della sequenza correne s ha che l numero oale d nod dell archeura è N N N 3N + 3. Tralascando ermn molplca e cosan che non nfluscono sulla complessà asnoca s ha che la complessà dell algormo per ogn sequenza è daa da ONT. upponendo che la lunghezza meda delle sequenze sa uguale alla lunghezza del modello poes generalmene verfcaa s oene una complessà ON 2 n empo e spazo per ogn sequenza. La complessà sarebbe noevolmene maggore qualora la connessone de nod d cancellazone fosse qualunque o comunque dfferene da quella lneare qu esamnaa. oerrebbe una complessà superore anche nel caso n cu la procedura per calcolare gl α avesse la necessà d reperre genor del nodo : per evare queso ulerore ncremeno ogn nodo pora con sé anche l nformazone necessara a rovare suo genor senza effeuare erazon aggunve. 26

28 Allneameno rame HMM - Modell d Markov Nascos L algormo Backward Defnamo adesso la probablà β d aver osservao smbol della sequenza da a T dao lo sao e da paramer del modello nel seguene modo:... w N T β. L algormo eravo per l calcolo d al probablà può essere nzalzzao nel seguene modo: T End β T ems β n quano s pare sempre dal nodo End n quano è una procedura d propagazone all ndero: l empo T + 1 sa ad ndcare che ua la sequenza è saa emessa. Tu gl alr nod d emssone ndca da ems vengono pos a 0 al empo T + 1. Il generco elemeno β può essere calcolao rcorsvamene nel seguene modo:... N T β E F j T j j j N D F j T j j N E F j j j j 1 β D F j j j β Il coeffcene β vene calcolao eseguendo una somma su u fgl F del nodo e dsnguendo due seguen cas:

29 Allneameno rame HMM - Modell d Markov Nascos 1. Il fglo è un nodo d cancellazone: n queso caso s calcola la probablà βf molplcaa per la probablà d ranszone j. 2. Il fglo è un nodo d emssone: n queso caso s calcola la probablà βf + 1 molplcaa per la probablà d emssone j se esse e per la probablà d ranszone j. L aggornameno de β può dare de problem se l nodo ha come fglo uno sao d cancellazone n quano n generale al empo non abbamo calcolao ancora alcun β che rguard nod d cancellazone. e però ogn sao d cancellazone ha al pù un fglo che sa esso sesso sao d cancellazone sfruando quesa propreà che nduce un ordnameno ra gl sa d cancellazone possamo calcolare β nel seguene modo: 1. er ogn nodo s calcola la pare d β defna dal puno 2. precedene coè la pare che rguarda fgl d emssone: non s ha alcun problema n quano s ulzzano β gà calcola n precedenza relav a emp successv. 2. consdera qund l nodo d cancellazone che non ha ra suo fgl un alro nodo d cancellazone: queso può essere calcolao correamene n quano s dspone d u da necessar. A parre da queso nodo s propaga l calcolo de β a u suo fgl d cancellazone n modo rcorsvo. 3. Adesso che s dspone d u β de nod d cancellazone possamo compleare l calcolo anche per gl alr nod d emssone. Ordnando nod del grafo n modo opporuno se ad ogn nodo d emssone è collegao al pù un nodo d cancellazone è possble fondere pass 2. e 3. n un solo passo. Ecco quella pare d programma che s occupa d aggornare β : parnod[nodoend].sebeal+1 1; for l+1; > 0; -- { // aggornameno de sol nod d emssone for nnod-1; > 0; -- { f l+1 &&! nodoend 28

30 Allneameno rame HMM - Modell d Markov Nascos } parnod[].sebeal+1 0; else f l parnod[].calcbea *arch 0 parnod 1; else f < l parnod[].calcbea *arch seq[] parnod; // aggornameno de rmanen nod d cancellazone for nnod-1; > 0; -- parnod[].calcbea *arch 0 parnod 2; } // scalaura de bea for 0; < nnod; ++ parnod[].sebea parnod[].gebea/scalcoef[]; Queso algormo è analogo al precedene con la sola dfferenza che coeffcen d scalaura sono gl sess dell algormo precedene: al coeffcen non devono essere qund rcalcola. La complessà asnoca d ale algormo è ONT dove T e la lunghezza della sequenza correne ed N la lunghezza del modello: supponendo che la lunghezza meda delle sequenze sa uguale alla lunghezza del modello s oene una complessà ON 2 n empo e spazo per ogn sequenza la sessa del precedene algormo Ulzzo de coeffcen alfa e bea No u gl α e u β possamo calcolare la probablà N d rovars n un cero nodo al empo daa una sequenza : ale probablà verrà ndcaa con γ. er far queso calcolamo prma la probablà conguna N dove è la sequenza: N 1 1 T α β N N. e po margnalzamo su oenamo la probablà della sequenza. A queso puno è suffcene dvdere la probablà conguna N per per oenere N. Qund l coeffcene γ e dao da: 29

31 Allneameno rame HMM - Modell d Markov Nascos γ N w α β j I α j β j dove I ndca l nseme d u nod del grafo. È ule anche calcolare la probablà γj della ranszone dal nodo al nodo j al empo che è daa da: γj N j N-1 w se j E γj N j N w se j D. può procede n modo analogo calcolando prma le due probablà congune N j N -1 e N j N e qund dvdendo per. Il coeffcene γj è dunque dao da: γj α j +1 j β / se j E γj α j β / se j D. Inolre se margnalzamo γj rspeo ad oenamo γj N j : γ j N j w γ j. I Ulzzando ques coeffcen possamo calcolare alcun paramer ul per gl algorm d apprendmeno: 1. La probablà f che la sequenza pass araverso l nodo : ale probablà s oene margnalzzando γ su : f γ. T 0 30

32 Allneameno rame HMM - Modell d Markov Nascos La probablà f X X che un smbolo X sa emesso dal nodo se è un nodo d emssone daa la sequenza : ale probablà s oene margnalzzando γ X su : T X X X f 0 γ. oché X vale o 0 o 1 essendo noa la sequenza quesa margnalzzazone equvale a sommare solo que γ per cu X al empo. Ovvamene la margnalzzazone d f X su X dà f: X X f f. 3. La probablà fj N j N -1 che la sequenza aravers un arco: ale probablà s oene margnalzzando γj su : T j N j N j f 0 1 γ. Inolre margnalzzando fj su s oene fj: j G j f j f. Il calcolo d al coeffcen avvene nel seguene modo:

33 Allneameno rame HMM - Modell d Markov Nascos for 0; < lungseq+1; ++ { d 0; // calcolo del denomnaore della formula 7.13 pag. 153 for 0; < nnod; ++ d + parnod[].gealfa*parnod[].gebea; } // calcolo della formula 7.13 pag. 153 for 0; < nnod; ++ { n parnod[].gealfa*parnod[].gebea; f n! 0 n / d; parnod[].segamma n; } La complessà d queso algormo è ONT: poché T è dreamene proporzonale ad N s oene ON 2. er quano rguarda l calcolo de coeffcen f e fj che non è alro che una semplce sommaora su γ e su γj la complessà è dell ordne d OT e qund non nflusce sulla complessà globale dell algormo Il percorso pù probable Il percorso pù probable d una sequenza lungo l grafo vene ndvduao n modo semplce: s cerca qual è l nodo pù probable ad ogn sane d empo. Tale nodo sarà sempre un nodo d emssone e ma un nodo d cancellazone. Infa se la probablà d rovars al empo n un nodo d emssone MAX è p MAX e quesa è la massma probablà consderando sol nod d emssone s ha che la probablà d rovars n un nodo d cancellazone al empo sarà sempre mnore o uguale a p MAX. Infa nel caso mglore c dovrà essere almeno una ranszone ra l nodo MAX e l nodo d cancellazone CANC l che pora la probablà d rovars nel nodo d cancellazone CANC a p MAX CANC MAX ove CANC MAX che è una probablà d ranszone è sempre mnore o uguale a 1. Queso è vero per ogn sane d empo. Un modo per calcolare quale sa l nodo pù probable 32

34 Allneameno rame HMM - Modell d Markov Nascos al empo è quello d sceglere quello che massmzza γ fssao. Infa γ è propro N coè la probablà d rovars nel nodo al empo daa. Un alro meodo è quello d ulzzare l algormo d Verb L algormo d Verb Inzamo col defnre le seguen varabl: δ max π w π dove π rappresena la pare nzale d una sequenza 1 che ermna nello sao. ha che δ rappresena la probablà assocaa al percorso pù probable de prm smbol della sequenza che ermna nello sao. Quese varabl possono essere aggornae usando un meccansmo d propagazone smle all algormo forward dove le sommaore sono sosue con delle massmzzazon: δ maxδ j 1 j se E j G δ maxδ j j se D. j G er rcosrure l percorso pù probable s deve enere racca ad ogn empo del precedene sao omale Calcolo dell allneameno e del percorso pù probable L allneameno delle sequenze è basao sul percorso pù probable delle medesme nel modello d Markov nascoso. Leggendo una sequenza s evdenzano n un qualche modo u smbol che secondo l percorso pù probable vengono e- mess da uno sao man. Queso perché gl sa man endono a conenere la pare non rumorosa della sequenza dove è qund possble rnraccare delle caraers- 33

35 Allneameno rame HMM - Modell d Markov Nascos che comun. mosrerà pù avan negl esemp come queso accada effevamene. Tuava non è possble procedere all ulzzo del percorso pù probable così come è sao defno n quano non è necessaramene un percorso coè non è necessaro che essa un cammno ra un nodo al empo - 1 ed un nodo al empo. In effe è puoso l elenco de nod pù probabl ne var san d empo 1 T n quano è semplce cosrure un esempo per cu quello che vene chamao percorso pù probable non sa affao un cammno sul grafo. er queso non possamo sceglere l nodo pù probable al empo come nodo d emssone del smbolo al empo ma dobbamo curarc del fao che essa un cammno ra l nodo al empo - 1 e ale nodo. può procedere qund nel modo seguene: s scandscono u nod enendo racca del pù probable per l quale essa un cammno con l nodo al empo - 1. segnerà n un modo opporuno l smbolo della sequenza se l nodo così calcolao sa un nodo man o un nodo nser. Ecco la pare d programma che s occupa d ndvduare l percorso pù probable: vod TGrafo::ercorsorobablen pah[] n seq[] n T n quale { for n 1; < T; ++ { n nodourobable nnod-1; double max parnod[nodourobable].gegamma; for n n nnod-2; n > 0; n-- f nod[n].getpo! 2 && n! nodoend { n nodouccessvo 1; f > 1 { f nod[pah[ - 2]].geTpo 0 { f nod[n].geid < nod[pah[ - 2]].geId nodouccessvo 0; } else f nod[pah[ - 2]].geTpo 1 f nod[n].geid < nod[pah[-2]].geid nodouccessvo 0; } 34

36 Allneameno rame HMM - Modell d Markov Nascos } f nodouccessvo && max < parnod[n].gegamma { max parnod[n].gegamma; nodourobable n; } } } pah[-1] nodourobable; Come s vede l flag nodouccessvo conrolla se l nodo abba o meno un cammno con l nodo al empo - 1. Con le assunzon fae nel nosro modello quesa rcerca è lneare nel numero de nod n quano l essenza del cammno per la parcolare sruura può essere verfcaa araverso due semplc conroll sul numero che denfca l nodo. In genere l conrollo dell essenza d un cammno rchederà un empo lneare nel numero de nod e dunque l algormo generale a- vrà una complessà quadraca. Dunque la complessà oale dell algormo n empo è ONT analoga a quella n spazo. Dobbamo noare nolre che l percorso pù probable dpende dal qual coeffcen vengono massmzza. Infa se l puno d massmo de coeffcen defn dall algormo d Verb corrsponde al puno d massmo de coeffcen defn dall algormo generale queso n generale non vale per l nero veore de coeffcen: se da enramb elmnamo l puno d massmo comune oenamo due veor con pun d massmo dfferen. Dunque l percorso pù probable sarà dfferene a seconda dell algormo con l quale vene calcolao: n parcolare con Verb sarà meno accurao n quano que coeffcen conengono mola meno nformazone propro per come sono sa defn. D ora n po chameremo l percorso pù probable o l allneameno calcolao con l algormo d Verb Verb e quello calcolao con l algormo generale gradene. Vedremo negl e- semp come l allneameno così come l addesrameno effeuao con Verb sa peggore d quello con l gradene. A queso puno dsponendo d un vero e propro percorso pù probable possamo calcolare l allneameno che consse solano nell evdenzare smbol emess da nod d po man. ono necessare anche alre procedure per aggungere 35

37 Allneameno rame HMM - Modell d Markov Nascos spaz e rendere gradevole la vsone dell allneameno ma che non nfluscono n modo rlevane sulla complessà generale. 4.3 Gl algorm d apprendmeno Gl algorm d addesrameno mplemena per l addesrameno dell HMM sono: l algormo EM l algormo d dscesa lungo l gradene l algormo d Verb varazone dell algormo d dscesa lungo l gradene. Vene raaa la sma ML supponendo che le probablà a pror sano unform. Nel caso n cu le sequenze d allneameno sano pù d una quese possono essere consderae ndpenden e la verosmglanza oale è daa dal prodoo delle verosmglanze d ue le sequenze L algormo EM Queso algormo s propone d adaare l modello all nseme d sequenze consderao massmzzando una cera funzone d energa. È un algormo d po bach n quano esegue l aggornameno ad ogn epoca dopo aver osservao ue le sequenze. Il passo d aggornameno dell algormo compora la sosuzone d cere probablà con la loro sma oenua massmzzando l energa lbera del modello: X f X / f j f j / f. dove X è un smbolo della sequenza. Tal formule rescono ad adaare molo bene l modello alle sequenze ma purroppo porano ad una cava generalzzazone n quano provocano l assorbmeno del rumore presene nell nseme d addesra- 36

38 Allneameno rame HMM - Modell d Markov Nascos meno. Qund è bene ulzzare queso algormo solo n modalà bach e se non è necessara un elevaa capacà d generalzzazone. In ques cas è meglo ulzzare l algormo d dscesa lungo l gradene. L aggornameno delle varabl avvene nel seguene modo: for n n 0; n < nnod; ++n { for n c 0; c < cardalf; ++c nod[n].serobemsc ea *sommanx[n][c] / somman[n]; } for c 0; c < nod[n].genumfg; c++ { n nod[n].gearcfgc; arch->aggorna ea * sommanj[] / somman[n]; } Vedamo che le probablà d emssone e d ranszone vengo semplcemene sosue con le approprae sme. La varable ea che rappresena l learnng rae vene sempre posa sempre ad 1 per queso algormo. La complessà dell algormo EM è la sessa d quello d dscesa lungo l gradene con le sesse cosan addve e molplcave L algormo d dscesa lungo l gradene Una possble realzzazone dell algormo d dscesa lungo l gradene può essere quella d massmzzare la verosmglanza o equvalenemene d mnmzzare l nverso del logarmo della sessa. ha che la verosmglanza d un percorso è daa da: π w End ar j T 1 ove con π s è ndcao un percorso qualsas. Ovvamene w s oerrà margnalzzando la π w: 37

39 Allneameno rame HMM - Modell d Markov Nascos 38 π π w w. ha che: π π π K X n K K A w X K K K n 1 π π π π π + A K K K n X n π π π π π π dove A ndca l nseme de smbol dell alfabeo. La funzone n K π compare nel calcolo della dervaa d π.infa: 1 j K j K j j K j K End ar T π T End ar j K n 1 π n quano non possamo sapere n generale quano vale n K π coè quane vole s rpee K j nella produora poché ale numero dpende per esempo dalla sequenza. ossamo nerpreare n K π qund come l numero d vole che l smbolo K vene emesso dal nodo n un cero percorso π legao ad una sequenza. ommando su K possamo calcolare n π. Molplcando gl n K π e gl n π per la probablà π d cascun percorso π daa la sequenza e qund margnalzzando su percors π oenamo: X A K w K K X n π π π X A K X w K K w log log π π