Categorizzazione automatica di immagini mediante algoritmi neurali.

Transcript

1 Categorzzazone automatca d mmagn medante algortm neural. Sara Colantono, Ovdo Salvett Abstract: - Il problema dell'elaborazone delle mmagn, mrata all nterpretazone e alla classfcazone del contenuto delle stesse, ha attrato l'attenzone de rcercator da prm temp della nascta e dffusone de calcolator: tra le prme applcazon studate s può annoverare l rconoscmento d caratter alfabetc stampat o manoscrtt per facltare le operazone d ngresso nel calcolatore e successva conversone n document d natura elettronca. Con l progredre della tecnologa de sstem d calcolo, la categorzzazone d mmagn ha trovato applcazon sempre pù vaste, rguardando dscplne d nuova generazone come l Image e Scene Analyss, l Image Understandng, l Object Recognton e la Computer Vson, con applcazon del tutto general sa n ambt scentfc che umanstc. A lvello pù generale, l problema rentra nell ambto del Pattern Recognton (PR), la dscplna che s occupa degl approcc applcatv mrat al rconoscmento e alla classfcazone automatc dell enttà d nteresse d un fenomeno n osservazone. Obettvo d questo lavoro è l anals de problem conness alla categorzzazone d mmagn, qual la costruzone d un sstema d rconoscmento, la rappresentazone de pattern, la selezone ed estrazone delle feature e la defnzone d un metodo d rconoscmento con partcolare rfermento all applcazone delle Ret Neural Artfcal. In partcolare, vengono analzzate e comparate dverse soluzon, ndvduando come soluzone ottmale un sstema neurale gerarchco per l elaborazone e l nterpretazone delle mmagn, costtuto da modul Error Back-Propagaton e Self-Organzng Map strutturat n due lvell successv. Key-Words: - Image Classfcaton, Pattern Recognton, Image Analyss, Neural Networks, Error Back-Propagaton, Self-Organzng Maps, Herarchcal Neural Network, Features Evaluaton and Selecton. Introduzone. Il rconoscmento, la descrzone e la classfcazone automatc delle strutture contenute nelle mmagn costtuscono una questone d fondamentale mportanza n un vasto nseme d dscplne scentfche ed ngengerstche che rchedono l acquszone, l trattamento e la trasmssone d nformazone sotto forma vsuale ovvero d mmagn. Le tecnche d produzone d mmagn dgtal (dgtal magng) sono n contnua evoluzone non solo sotto l'aspetto dell'affnamento tecnologco (che consente d ottenere mmagn sempre pù precse e dettaglate), ma anche dal punto d vsta concettuale: le mmagn rcavate, nfatt, soprattutto graze all'ntervento della elaborazone elettronca, perdono gran parte del loro carattere puramente conografco, per acqusre nvece un sempre maggore sgnfcato funzonale, con un contenuto d nformazon tale da rchedere l auslo del calcolatore per essere correttamente nterpretato. Esemp d applcazon n tal senso sono:

2 l rconoscmento d caratter; l anals delle mmagn bomedche (Medcal Imagng); l automazone ndustrale; la robotca; la cartografa; l telerlevamento; la modellazone ambentale; la smulazone e l controllo d mobltà ne trasport; la bometrca la conservazone de ben cultural l rconoscmento d mmagn radar n ambto mltare. Il contesto teorco nel quale s collocano le queston ntrodotte è quello del Pattern Recognton (PR) o Classfcaton combnato all Elaborazone ed all Anals dell Immagne (Dgtal Image Processng and Analyss). La prma dscplna s occupa del processo d rduzone dell nformazone che consste nell attrbuzone d pattern vsual o logc ad una classe d appartenenza, sulla base delle caratterstche e delle relazon tra ess [; 2]. L Image Processng s occupa delle tecnche e delle metodologe volte all acquszone e all elaborazone numerca de dat, la rcostruzone, l mgloramento ed l restauro delle mmagn [2; 3; 4]. Infne, l Image Analyss s occupa del processo d elaborazone delle mmagn volto all estrazone d nformazon sgnfcatve necessare per la descrzone delle strutture n esse contenute. Tal nformazon rsultano ndspensabl all nterno d un sstema d PR che prevede l ulterore elaborazone de dat così ottenut n un successvo processo d nterpretazone e classfcazone. In merto, po, a metod che permettano tale nterpretazone, le Ret Neural Artfcal (Artfcal Neural Network, ANN o semplcemente NN), nate dall dea d smulare l comportamento del sstema nervoso bologco, s prestano come ottme alternatve alle altre tecnche d PR, graze alle caratterstche funzonal che le rendono estremamente attraent e capac d manpolare fenomen molto compless, n modo relatvamente semplce. Nelle sezon che seguono vengono dscuss gl aspett teorc-applcatv della realzzazone d un sstema per la categorzzazone automatca de dat mmagne, vene analzzata l applcazone delle Ret Neural al problema consderato e sono analzzate e comparate dverse archtetture neuronal, soprattutto gerarchche, ndvduandone quella che rsulta essere la mglore n termn d adattabltà e affdabltà.. Pattern Recognton e Image Analyss. Un problema d Pattern Recognton può essere formalzzato nel modo seguente [6; 7; 8; 9]: dat uno spazo d msurazone M sul fenomeno n osservazone; un nseme d sgnfcat, detto spazo d nterpretazone, Ω ndvduare uno spazo d rappresentazone S P de pattern P; una funzone d decsone Ψ che assoc le rappresentazon d S P allo spazo de concett Ω: Ψ: S P Ω () L ndvduazone della funzone Ψ corrsponde nella pratca a partzonare lo spazo delle msurazon n regon non sovrapposte, cascuna delle qual rappresent un concetto, ovvero una classe. Suddetta partzone è raramente lneare o realzzable con funzon semplc (funzon lnear o quadratche), soltamente, nvece, per poter ottenere una corretta separazone de pattern appartenent a class dverse è necessaro rcorrere a funzon altamente non lnear. Generalmente, sstem d rconoscmento sono adattv, ovvero rchedono una fase d addestramento (tranng), durante la quale vene presentato al classfcatore un nseme d pattern rappresentatvo del problema, l cosddetto nseme d addestramento (tranng set), opportunamente scelto per permettere al sstema d apprendere, ovvero d acqusre la conoscenza relatva alle caratterstche che 2

3 dstnguono le vare class. In partcolare, l processo d addestramento può avvenre secondo due modaltà dverse, n rfermento alla presenza o meno della conoscenza preventva de sgnfcat e delle class d appartenenza de pattern. Nel caso n cu, sa possble stablre qual sano le class e a quale d esse appartenga cascun pattern d tranng, s parla d apprendmento supervsonato e l partzonamento dello spazo S P è gudato dalle etchette assocate a pattern. Nel caso n cu non sa dsponble una conoscenza nzale sul numero d class e, d conseguenza pattern d tranng vengano fornt al classfcatore senza una etchettatura, s parla d apprendmento nonsupervsonato e la partzone avvene n base alle caratterste degl esemp, ovvero tenendo conto d come quest s aggreghno spontaneamente, formando degl nsem avent propretà sml. In quest ultmo caso, s parla d clusterng, defnendo cluster grupp d pattern sml. La costruzone d un sstema d PR rchede essenzalmente la messa a punto d tre aspett:. l acquszone e la pre-elaborazone de dat; 2. la rappresentazone de pattern; 3. la defnzone ed l perfezonamento d una funzone d decsone per l rconoscmento degl stess. Tal aspett s traducono n una sere d fas successve attraverso le qual s evolve l processo d progettazone d un sstema d PR [; 8; 0]: dopo aver decso le modaltà d raccolta de dat, è necessaro esegure una fase d pre-elaborazone degl stess per renderl adatt alle anals successve; qund, selezonare un opportuno modello d rappresentazone de pattern, anche n rfermento al metodo d rconoscmento adottato e approntato nella fase successva. Esstono, nfatt, dvers approcc al PR e cascuno d ess rchede una specfca modaltà d rappresentazone de dat attraverso descrttor, caratterstche o feature oppure prmtve. Nel caso n cu dat sano mmagn, l processo d svluppo d un sstema d PR è generalmente stanzato con operazon specfche che rguardano la formazone delle mmagn, la loro elaborazone, l estrazone delle strutture da rconoscere o classfcare e la rappresentazone d quest ultme, operazon che rcadono, come antcpato, nell ambto dell Elaborazone ed dell Anals dell Immagne. In partcolare, tale processo può essere schematzzato come mostra l dagramma n Fgura, nella quale sono rportat anche le operazon esegute per cascuna fase e rsultat corrspondent. Le prme due fas sono legate al processo d elaborazone delle mmagn n strcto sensu, ovvero alla dgtalzzazone de dat analogc e all ottmzzazone delle mmagn così ottenute; le due fas successve appartengono al processo d anals delle mmagn dgtal, ovvero dell Image Analyss: l estrazone delle strutture d nteresse, attraverso un processo che prende l nome d segmentazone e la defnzone e la stma d un nseme d descrttor o d caratterstche sgnfcatv utlzzat per la rappresentazone de pattern. L ultma fase, nfne, consste nella defnzone d un metodo d classfcazone che sfrutt quanto ottenuto dalle fas precedent, traducendo l anals quanttatva n nformazon qualtatve. E possble prevedere, noltre, una fase d postelaborazone n cu una qualche forma d conoscenza a pror del problema affrontato permetta d mglorare l ntero processo d classfcazone [0]. 2. Acquszone delle mmagn. Le mmagn dgtal vengono opportunamente acquste attraverso un processo d dgtalzzazone applcato ad mmagn o segnal analogc che resttusce un mmagne numerca su un supporto accessble da parte d un dspostvo d calcolo [4]. Tale processo s artcola n due fas: camponamento; quantzzazone ; durante la fase d camponamento, l segnale analogco vene msurato ad ntervall 3

4 regolar, assumendo che l segnale n uscta mantenga costante l valore msurato fno all ntervallo successvo. Ad ogn valore camponato, vene assocato, durante la fase d puttosto d una regone rettangolare concdente con una cella della grgla, per cu l valore ad esso assocato rappresenta l ntenstà meda d un ntera regone. Acquszone delle mmagn Dgtalzzazone de dat analogc Camponamento Quantzzazone I 0 (x, M Pre-elaborazone Ottmzzazone delle mmagn Trasformazone Mgloramento Rcostruzone I(x, Segmentazone Estrazone descrttor o caratterstche Estrazone delle strutture o regon d nteresse (ROI) Stma d un nseme d caratterstche d rappresentazone de pattern con un predcato unforme N I = R = R R = φ j P( R ) = vero per =,..., N P( R R ) = falso j Morfologche: forma Denstometrche:ntenstà {R } P S P Rconoscmento e classfcazone Defnzone del metodo d rconoscmento e classfcazone Sntattco Statstco Neurale Ψ: S P Ω Fgura. Dagramma d svluppo d un sstema d rconoscmento e classfcazone d mmagn con rspettve operazon e rsultat corrspondent. quantzzazone, l elemento pù vcno tra quell che appartengono ad un nseme prestablto e fnto d valor. L mmagne ottenuta può essere rappresentata come una funzone bdmensonale, rappresentata come una matrce I(x, cu element corrspondono alle d untà base, pxel o pcture element, dentfcat dalla rspettva poszone (x, e dalle relatve propretà n termn d colore ed ntenstà. Ogn pxel rappresenta l ntenstà della corrspondente poszone della grgla d camponamento dell mmagne. In realtà, non s tratta d un solo punto dell mmagne, ma Element caratterstc d un mmagne sono la rsoluzone d acquszone o vsualzzazone, detta rsoluzone spazale, par alla denstà msurata n pxel per nch, e l tpo, banco/nero, scala d grg o color, che dentfca la quanttà d nformazone assocata ad ogn pxel, dal processo d quantzzazone. Le mmagn de prm due tp vengono defnte monocromatche e sono rappresentate da funzon I(x, a valor scalar: bnar nel caso d mmagn n banco/nero, compres n un ntervallo [0,G max -] nel caso d mmagn su scala d grg a G max valor d ntenstà (o d grgo). In partcolare, n quest ultmo caso, l valore G max corrsponde soltamente ad una potenza d due: 4

5 G max = 2 L dove L è l numero d bt usato per codfcare cascun pxel e ne stablsce la profondtà. Nel caso d mmagn a color, la funzone I(x, non è scalare, ma vettorale: ogn elemento è un vettore d tre component: I(x,=[ I (x,, I 2 (x,, I 3 (x,] cascuno de qual rappresenta un canale e corrsponde ad una delle component dello spazo de color. La consderazone d mmagn d questo tpo esula dagl obettv d questo lavoro, per cu d seguto s farà sempre rfermento ad mmagn monocromatche. 3. Pre-elaborazone. I process d formazone e acquszone dell'mmagne non dstnguono fra nformazone utle o nutle, fra nformazone rumorosa o sgnfcatva, vecolando dat tutt n un unca struttura. La presenza d rumore, tuttava, comporta un fenomeno d degradazone dell'mmagne, al quale è utle ed opportuno porre rmedo attraverso una fase d pre-elaborazone dell'mmagne che permetta d mglorare la qualtà de dat n ngresso, prma d procedere nella fase d estrazone dell'nformazone. Le operazon usate a tal scopo sono tpche dell Elaborazone delle Immagn e consstono, essenzalmente, n procedment d rduzone del rumore e rcostruzone. Il rsultato così ottenuto rmane un mmagne delle stesse dmenson e con le stesse caratterstche d quella nzale. E possble ndvduare tre class dverse d elaborazon d questo tpo [3; 4; 5], che corrspondono alle operazon d: trasformazone; mgloramento (enhancement) rcostruzone (restoraton). Tal class non sono completamente dsgunte l'una dall'altra, soprattutto per quanto concerne le trasformazon. Trasformazone. La teora delle trasformazon bdmensonal goca un ruolo partcolare all'nterno dell elaborazone delle mmagn: le vare trasformate sono spesso utlzzate come bas d partenza per la costruzone d algortm che s occupno delle operazon d mgloramento e rcostruzone. La trasformazone n assoluto pù studata ed utlzzata è la Trasformata d Fourer, questo graze alle propretà d cu essa gode [4]. Mgloramento. L obettvo delle operazon appartenent a questa classe è quello d mglorare alcune propretà dell mmagne per agevolarne le successve elaborazon d anals o vsualzzazone. Il rsultato prodotto non altera né aumenta l contenuto nformatvo delle mmagn, ma ne enfatzza solamente alcune caratterstche. Gl algortm d mage enhancement sono generalmente nterattv e dpendent dall applcazone. Gl esemp tpc sono rappresentat dall aumento de contrast o de bord (edge), l fltraggo del rumore, l assottglamento (sharperng) o l ngrandmento (magnfyng) de contorn. Rcostruzone. In manera pù o meno accentuata le mmagn acquste sono sempre soggette ad error, qual possono consderevolmente dmnure le prestazon d un classfcatore. Il termne errore ndca tutte quelle stuazon n cu l'nseme delle msure raccolte sono falsate da dsturb ntrodott da meccansm d acquszone, oppure cas n cu l rumore sa presente alla sorgente. L obettvo delle tecnche d rcostruzone è, dunque, quello d elmnare o mnmzzare tal degradazon, generalmente attraverso l applcazone d fltr. Mentre le tecnche d mgloramento della qualtà dell'mmagne s possono descrvere n modo qualtatvo, senza rcorrere all'uso degl strument matematc, le metodologe per l rprstno della qualtà dell'mmagne, non possono essere spegate senza rcorrere alla formalzzazone. Generalmente s può dre che l restauro d mmagn prevede due fas: l'anals delle font d deteroramento e la 5

6 compensazone delle degradazon che ne dervano, attraverso l'utlzzo d partcolar algortm. I contest d applcazone pù sgnfcatv d queste tecnche sono l'elaborazone d mmagn spazal, d mmagn bomedche o da telerlevamento Dal punto d vsta della computazone, le tecnche d elaborazone possono essere raggruppate anche n base della regone dell'mmagne sulla quale vanno ad operare e vengono, secondo tale crtero, dstnte n puntual, local o global. Le tecnche puntual, dette anche manpolazon, producono semplcemente un cambamento nella lumnostà delle scale d grgo. Le tecnche local operano nvece su pccole aree, concentrando l elaborazone al punto correntemente analzzato. Le tecnche d questa classe hanno lo scopo d rdurre l rumore e aumentare l contrasto. Le elaborazon global, che rchedono l'uso d tutta l'mmagne n ngresso, s possono consderare come evoluzon matematche pù sofstcate ed elaborate delle tecnche precedent (ne è un esempo la trasformata d Fourer). 4. Segmentazone. Il processo d segmentazone d un mmagne rappresenta un passo fondamentale nell ambto dell Image Analyss e del Pattern Recognton, gacché permette d estrarre quelle che sono le strutture d nteresse da rconoscere e classfcare. S tratta, dunque, d una fase crtca nell anals dell mmagne: la precsone e la qualtà del rsultato possono nfluenzare molto pesantemente le elaborazon successve. L obettvo della segmentazone è la scomposzone d un mmagne n part o ROI dstnte, che sano sgnfcatve rspetto all applcazone e rsultno omogenea rspetto ad una data caratterstca, se prese sngolarmente, e dsomogenee se unte ad una delle regon adacent. La segmentazone può essere effettuata manualmente da un operatore, sfruttando per esempo degl strument d selezone d aree, con l vantaggo dell automatca valutazone del rsultato ottenuto. Tuttava, un smle approcco è estremamente svantaggoso n termn d tempo e rsorse rcheste, soprattutto nel caso n cu l mmagne contenga un gran numero d oggett sgnfcatv, per ognuno d qual rsulterebbe, qund, necessara l estrazone manuale del contorno. E, pertanto, auspcable poter dsporre d metod automatc, o quanto meno sem-automatc, che facltno l operazone d segmentazone, sulla base d tecnche d anals delle mmagn e d corrspondent crter d applcazone, eventualmente svluppat per la specfca tpologa d mmagn trattate. Un approcco formale n tal senso prevede la seguente defnzone []: Defnzone. Segmentazone. La segmentazone d un mmagne I con un predcato unforme P è la partzone d I n sottonsem R ; ;R N non vuot e dsgunt tal che: N I = R = R R = φ j (2) P( R ) = vero per =,..., N P( R R ) = falso j Inoltre R e R j sono adacent e l predcato unforme P assegna valore vero o falso n relazone alle propretà d lumnostà de punt d X. I sottonsem R corrspondono sostanzalmente a part generche n cu vene suddvsa l mmagne, mentre cò che s desdera ottenere sono delle regon che sano nsem conness d pxel, ovvero costtute da pxel adacent. Formalmente, è possble consderare la seguente defnzone d connettvtà d una regone [2]: Defnzone. Connettvtà Una regone R è detta connessa se: ogn coppa d pxel (x a,y a ), (x b,y b ) appartenente ad R può essere connessa attraverso un cammno (x a,y a ),, (x -,y - ), (x,y ), (x +,y + ),, (x b,y b ) 6

7 ogn pxel (x,y ) è adacente a pxel precedente (x -,y - ) e successvo (x +,y + ) lungo l cammno consderato. La relazone d adacenza tra pxel è legata a quella d vcnato (neghbourhood) che può essere dstnta n due cas possbl: Defnzone. Vcnato S parla d relazone d vcnato d ordne 4 (4-neghbourhood o 4-connettvtà) nel caso n cu s consderno conness al pxel (x, pxel ad esso adacent n vertcale e n orzzontale: N (( x, ) = {( x,, ( x +,, ( x, y ), ( x, y ) } (3) 4 + s parla d relazone d vcnato d ordne 8 (8-neghbourhood o 8-connettvtà) nel caso n cu s consderno conness al pxel (x, pxel ad esso adacent n vertcale, n orzzontale e n dagonale N 8 (( x, ) = N 4 (( x, ) ( x, y ), ( x +, y + ), ( x +, y ), ( x, y + ) (4) Vare sono le tecnche che a partre dalle nozon appena ntrodotte sono state svluppate e proposte n letteratura. La maggor parte d esse s basa sulle propretà del contenuto dell mmagne, come ntenstà, colore o geometra, per poter dentfcare delle ROI omogenee e contorn delle stesse [; 3; 4]. In partcolare, le tecnche maggormente dffuse possono essere rcondotte a due approcc prncpal: approcco basato sulle regon; approcco basato su contorn. qual a loro volta s basano su due dverse propretà de lvell d grgo dell mmagne : la somglanza e la dscontnutà; delle tonaltà d colore nel caso d mmagn a color. Nel prmo caso l processo d segmentazone procede rconoscendo le regon sulla base delle loro caratterstche d smltudne, gl esemp tpc sono la segmentazone per soglatura dell stogramma de lvell d grgo dell mmagne (Hstogram Thresholdng o semplcemente Thresholdng) e metod d splt & merge e d accrescmento delle regon (regon growng); nel secondo le mmagn vengono suddvse n base alle varazon de ton d grgo, l esempo tpco è quello del metodo d ndvduazone de bord (edge detecton). Due metod d natura dversa possono, tuttava, coesstere n quanto da contorn è possble ottenere le regon e vceversa. In aggunta alle tecnche sopra menzonate esstono numerose altre algortm d segmentazone, cascuno de qual è dotato d caratterstche pecular che lo rendono pù o meno vantaggoso per una specfca applcazone. La scelta, qund, può essere dversa e spesso vene fatta adattando opportunamente una delle tecnche esstent o delneando ex novo un algortmo ad hoc, n modo da soddsfare al meglo le esgenze rcheste dall applcazone specfca. In tal caso, è utle tener conto de crter che un buon metodo d segmentazone dovrebbe soddsfare [3], ovvero: le regon devono essere l pù possble omogenee confn delle regon devono essere compatbl con le varazon della msura d smlartà adottata. aree percettvamente unform non dovrebbero essere dvse n pù part. In partcolare questo s applca a regon con ombreggatura graduale e a regon con tesstura. pccol dettagl, se ben defnt n forma e contrasto, non dovrebbero essere fus con le regon confnant. Tuttava, valutare la bontà del rsultato d una segmentazone non è cosa facle, essendo soltamente una questone soggettva. Var crter sono stat propost n letteratura per tale valutazone, l pù semplce de qual prevede l calcolo della percentuale d pxel 7

8 segmentat erroneamente dal metodo utlzzato [5]. Msure pù complesse sono rappresentate dal rsultato del processo d classfcazone complessvo ottenuto dopo la segmentazone [6], crter d unformtà e contrasto delle regon o de bord ottenut [7], msure n merto alla forma ottenuta dalla segmentazone [8] o, ancora, l confronto tra valor d alcune caratterstche msurate su un mmagne dealmente segmentata e quella effettvamente ottenuta dal processo applcato [9; 20]. In realtà, l problema della segmentazone nelle mmagn rchede l emulazone della percezone pscologca e qund non può avere una soluzone analtca, ma, al contraro, qualunque algortmo matematco formulato a rguardo rchede l utlzzo d una qualche eurstca, basata sulla semantca o sulla descrzone della classe d mmagn n consderazone [5]. In alcun cas, è opportuno andare oltre l uso d eurstche e ntrodurre della conoscenza a pror rguardo l mmagne, n una tale eventualtà l processo d segmentazone procede d par passo a quello d rconoscmento e comprensone dell mmagne stessa. 4.. Metodo Thresholdng. La segmentazone per soglatura dell stogramma (Hstogram Thresholdng), detta anche bnarzzazone, è uno de metod maggormente conoscut ed utlzzat, graze alla semplctà concettuale e computazonale che lo caratterzza e al fatto che permetta sempre d ndvduare regon chuse con contorn conness. S tratta d una tecnca che sfrutta le propretà d smltudne locale de pxel dell mmagne con l obettvo d determnare un partcolare lvello d grgo T, la sogla d bnarzzazone, appunto, che permetta, sulla base d semplc controll sulle tonaltà d grgo, la suddvsone dell mmagne n regon sgnfcatve. Pù precsamente, consderata una coppa d valor d grgo (g 0,g ), una volta stablto l valore della sogla T, l rsultato della segmentazone per bnarzzazone d un mmagne I(x, è un mmagne bnara I b (x, tale che sa soddsfatta la condzone (5): I g 0 se I( x, < T ( x, = b g I( x, y ) se T (5) Il caso pù semplce d applcazone d tale metodo è quello n cu l mmagne consderata contenga un unco oggetto avente ntenstà omogenea, dversa da quella dello sfondo. In tal caso è facle determnare la sogla T n modo mmedato dall anals dell andamento del cosddetto stogramma de ton d grgo dell mmagne, una funzone dscreta H 2 de valor g k [0,G max -] nel modo seguente: H(g k ) = n k /(n*m) (6) dove n k è l numero d pxel che hanno valore g k, n ed m sono le dmenson dell mmagne, da cu n*m è l numero totale d pxel della stessa. In partcolare, nel caso suddetto, l stogramma presenta un andamento bmodale, come quello mostrato n Fgura 2, per cu è facle determnare la sogla come l punto d mnmo tra due pcch corrspondent allo sfondo e all oggetto contenuto nell mmagne. Questo approcco basato sull andamento dell stogramma è detto metodo della moda e la sogla determnata nel modo descrtto è detta globale [3]. S tratta del metodo pù semplce, che asscura la probabltà mnma d classfcare punt dell oggetto come sfondo e vceversa, n quanto l numero d pxel con valor che cadono nella valle tra due pcch è rdotto. Il metodo può essere esteso al caso n cu l stogramma dell mmagne contenga un numero maggore d pcch, selezonando, n questa eventualtà, un nseme d sogle, cascuna corrspondente ad una valle tra due pcch consecutv. Un mportante nconvenente presentato, tuttava, da tale metodo è la perdta delle nformazon spazal dell mmagne, dovuta alla mancata 2 L stogramma rappresenta una msura a posteror della dstrbuzone de lvell d grgo all nterno dell mmagne, utle perché fornsce una descrzone globale della cosddetta apparenza dell mmagne. 8

9 consderazone delle relazon d vcnanza de pxel. Fgura 2. Istogramma con andamento bmodale. D altro canto, lo stesso metodo non può essere applcato nel caso n cu l stogramma present delle ampe e patte vall o una molteplctà caotca d pcch. Inoltre, l anals del solo stogramma non tene conto delle nformazon spazal dell mmagne, trascurando le condzon d vcnanza de pxel. In tal caso, è necessaro rcorrere a metod dvers per la determnazone della sogla d bnarzzazone. Soluzon a questo problema sono present numerose n letteratura, sulle qual nutrte panoramche sono quelle d Fu et al. [3], Sahoo et al. [8] e Sankur et al. [2] Metod Regon growng e Splt & Merge. S tratta d due metod d segmentazone basat su crter d smlartà per l estrazone d regon omogenee, che permettono d consderare sa le nformazon su valor d grgo sa dettagl spazal dell mmagne. Un ulterore propretà comune è nel modo ncrementale d procedere, rchedendo ad ogn passo l soddsfacmento d un certo crtero d omogenetà Λ. Il metodo d accrescmento delle regon è basato sull espansone d queste medante la progressva fusone d pxel o regon adacent [22; 23]. Anche n questo caso sono prevste due fas: la fase d nzalzzazone e la fase d accrescmento. La prma fase consste nello sceglere un adeguato nseme nzale d regon elementar (al lmte un pxel) dett sem (seed), dalle qual ha nzo la fase d accrescmento. Le regon scelte come sem sono caratterzzate da un valore alto del crtero d omogenetà Λ usato. Durante la fase d accrescmento, n manera teratva, le coppe d regon contgue R e R j, che soddsfno come unone la condzone d omogenetà, Λ( R R j ), vengono aggregate. La scelta della funzone d omogenetà è spesso fatta ad hoc, ovvero sulla base delle caratterstche spazal e statstche delle mmagn trattate. Può essere rappresentata da una semplce funzone matematca oppure da una complessa combnazone d funzon d costo e regole eurstche. Alcune regole proposte consstono nell unre le regon per le qual la dfferenza del lvello medo d grgo dst meno d una determnata sogla, oppure nel consderare le regon con contrasto nferore ad una certa sogla, contare l numero d pxel ω del contorno tra queste e unre le regon per cu valga ω > α P m dove P m è la lunghezza del permetro della regone pù pccola e α è un valore d sogla, o, ancora, nell utlzzare lo stesso approcco appena descrtto sosttuendo al permetro la lunghezza del confne tra le due regon. I vantagg presentat da questo metodo sono rappresentat da una maggore qualtà rspetto a quello per soglatura e allo splt&merge e dalla possbltà d adattamento a qualsas tpo d mmagne, con l uso d opportune regole d omogenetà. Gl svantagg sono, nvece, un elevato onere computazonale e la forte sensbltà alla fase d nzalzzazone. Le tecnche basate sulla suddvsone, splttng, e aggregazone, mergng eseguono la segmentazone precedendo n due fas successve [4; 24]:. fase d splt: vene applcato un processo top-down che suddvde l ntera mmagne n regon elementar; 2. fase d merge: vene eseguto un processo bottom-up che permette d raggruppare le regon elementar n regon pù complesse. 9

10 La prma fase consste n una procedura rcorsva che crea e scandsce una struttura ad albero quaternaro (quadtree): partendo da un nseme d regon quadrate d dmensone (2n) 2, corrspondent a blocch quadrat dell mmagne, s procede valutando per ogn blocco R la condzone d omogenetà Λ (R ). Nel caso n cu la condzone non sa verfcata e n sa maggore d uno, l blocco corrente vene suddvso n quattro sottoblocch, d dmenson n 2, a qual vene applcata rcorsvamente la stessa procedura (Fgura 3). mnma de blocch, ma cò aumenterebbe ulterormente l onere computazonale, che s presenta gà dscretamente pesante Metodo Edge Detecton. Il metodo d segmentazone basato sull ndvduazone de bord (edge) delle regon da estrarre sfrutta le varazon d ntenstà dell mmagne, ovvero s basa su un crtero d dscontnutà tra pxel adacent. Il procedmento sfrutta degl opportun operator che trasformano le mmagn orgnal n mmagn bnare, nelle qual pxel a valore non nullo dentfcano punt dell'mmagne orgnale con grand varazon ne ton d grgo. S tratta d operator che eseguono una dfferenzazone spazale dell mmagne seguta da un operazone d soglatura per determnare qual punt sano da consderars effettvamente come d contorno. E utle, pertanto, ntrodurre concett d dervate spazal dell mmagne, defnte n orzzontale e n vertcale, rspettvamente, dalle espresson (7) e (8): Fgura 3. Esempo d due terazon della fase d splt: quadrant n grgo sono quell che non soddsfano l crtero d omogenetà e andranno, qund, suddvs. In partcolare, vene mostrato un ulterore passo rcorsvo sul quadrante R 2, suddvso n 4 nod fgl, costruendo 4 quadrant ulteror d x d y I( x, = x I ( x, = y (7) (8) La fase d splt ha lo svantaggo d perdere d vsta l omogenetà tra nod appartenent a dvers lvell d rsoluzone oppure a dvers ram, dando orgne ad un nseme molto numeroso d regon pccole. La fase successva, permette d correggere questa sovra-segmentazone effettuando una progressva fusone delle regon confnant che rspettno l crtero d omogenetà. Vare msure sono state proposte per questo crtero, ne sono esemp la dfferenza tra l pxel d ntenstà massma e quello d ntenstà mnma, la varanza del quadrante o altre msure statstche pù complesse. Il metodo descrtto presenta, tuttava, lo svantaggo d produrre ROI troppo quadrate, qund spgolose, nconvenente che potrebbe essere elmnato aumentando la rsoluzone spazale massma, ovvero la dmensone Var operator sono stat propost per l mpego d queste nformazon spazal, classfcabl n operator d prmo ordne o d secondo n base all ordne della dervata che utlzzano. Alcun d quest vengono rportat d seguto. E utle osservare subto, però, che la segmentazone basata sull ndvduazone de bord presenta come nconvenente la necesstà d dover rcostrure contorn delle regon delle qual sano stat, per l appunto, estratt estratto bord e cò rappresenta un onere non sempre affrontable. Operator gradente. Il gradente d un mmagne è defnto dall espressone seguente: δ I ( x, δi ( x, I( x, =, x y (9) δ δ t 0

11 ed è possble valutarne l modulo G consderando due gradent, orzzontale G R e vertcale G C, secondo la seguente espressone [4]: G[ I( x, ] G ( x, G ( x, (0) R + Usare, qund, l gradente per determnare bord d una regone equvale all applcazone della seguente condzone, avendo selezonato un valore L da usare per consderare gl element d bordo: se GR ( x, + GC ( x, > L G[ I( x, ] = 0 altrment C () La scelta della sogla L è estremamente mportante, se è troppo bassa vengono consderat punt d bordo anche quell che n realtà non lo sono, vceversa, se è troppo elevata s rscha d non rlevare alcun bord. Il problema è trovare un compromesso che lmt l numero degl error. Varazon della tecnca d base appena enuncata utlzzano metod dvers per l calcolo del gradente, approssmandone l valore attraverso l applcazone d cosddette maschere o operator d gradente o, ancora, operator d bordo, rappresentate da una coppa matrc d 2x2 o 3 3 pxel, una per cascuna dmensone. I cas pù semplc sono ottenut con le maschere mostrate n Fgura 4, l secondo de qual è detto gradente d Roberts, e corrspondono alle seguent approssmazon: G[ I ( x, ] G[ f ( x, ] I( x, I ( x +, + I ( x, I( x, y + ) f ( x, f ( x +, f ( x +, y + ) + f ( x, y + ) (2) (3) Fgura 4. Operator d contorno 2x2. Nel caso d maschere 3 3, gl operator sono pù compless e vengono defnt usando la notazone mostrata n Fgura 5. Fgura 5. Convenzone usata nella numerazone degl element d un operatore d bordo. L applcazone d una maschera consste nel calcolo locale delle due component del gradente secondo le espresson seguent: ( A2 + ka3 + A4 ) G R ( x, = (4) k + 2 ( A0 + ka7 + A6 ) ( A0 + ka + A2 ) G R ( x, = (5) k + 2 ( A6 + ka5 + A4 ) Gl operator 3x3 maggormente utlzzat sono quell d Prewtt, d Sobel e d Fre- Chen detto anche sotropo, mostrat n Fgura 6, che utlzzano per l parametro k, usato per pesare l contrbuto de pxel, valore, 2 e 2, rspettvamente.

12 Fgura 6. I tre operator d contorno maggormente utlzzat. 5. Caratterstche e descrttor. Dopo aver segmentato l mmagne n regon dstnte n modo da estrarre le strutture d nteresse n essa contenute, è necessaro selezonare un modello d rappresentazone d tal strutture. Generalmente detto modello è costtuto da un nseme d caratterstche o descrttor delle enttà del problema affrontato. In partcolare, con l termne feature può essere ndcata qualsas tpo d msura estrable da un osservazone, ma è buona norma dstnguere le generche msurazon dalle caratterstche: mentre le prme sono semplc osservazone, le seconde sono propramente costrute con opportun operator ed n tal senso, s parla d estrazone delle caratterstche. L obettvo d questa operazone è l consegumento d un maggore potere dscrmnante delle nformazon sfruttate e, al contempo, una dmnuzone de dat utlzzat dal classfcatore. Le feature possono essere numerche o smbolche, ma costtuscono, generalmente, enttà ad alto lvello, con l ntenzone d concentrare l nformazone utle n un nseme rstretto d dat. C è tuttava da tener conto dello sforzo computazonale e teorco rchesto dalla rduzone de dat e dell eventuale aumento della probabltà d perdere nformazon. In tal senso, la corretta selezone delle varabl utlzzate è d fondamentale mportanza, tanto pù che esste un ulterore problema d cu tener conto nella fase d opportuna rduzone della dmensonaltà: l cosddetto curse of dmensonalty, defnto come l fenomeno per cu l aumento della dmensone dello spazo delle caratterstche comport nzalmente un mgloramento dell accuratezza ma port rapdamente ad una dspersone ovvero radezza de pattern, qund ad una scorretta rappresentazone delle funzon d denstà de dat e, d conseguenza, ad un peggoramento delle prestazon del sstema. Il controllo d questo fenomeno rchede l adozone d metod opportunamente defnt, come verrà llustrato nel seguto d questa sezone. In sostanza, le propretà d cu devono godere le feature selezonate sono [25]: potere dscrmnante: oltre a descrvere correttamente l pattern n esame, le feature devono asscurare una suffcente dscrmnazone delle vare class d appartenenza del problema affrontato; complesstà computazonale rdotta: è mportante che l sstema mpegh un tempo ragonevole per calcolare l nseme d varabl scelte. La ragonevolezza fa rfermento, n genere, ad un buon rapporto tra tempo e prestazone. Un altra peculartà spesso desderable, soprattutto ne sstem d Object Recognton, è l nvaranza, ovvero la capactà d un caratterstca d rappresentare l nformazone contenuta n un mmagne, ndpendentemente dalla poszone che l oggetto assume n essa. Infne, nella realzzazone d un sstema che sfrutt l nseme d caratterstche selezonate, un punto mportante d cu tener conto è rappresentato dalla flessbltà del sstema stesso, ovvero dalla possbltà d adattarlo a cambament del problema affrontato. D tale esgenza è stato tenuto partcolare conto nella defnzone dell archtettura neurale usata nell approcco defnto n questo lavoro d tes. Soltamente, tuttava, la scelta vene fatta sulla base delle peculartà del problema affrontato: dopo la segmentazone, è possble 2

13 estrarre una rappresentazone delle regon o de bord o la rappresentazone smbolca, ad un lvello pù alto, della struttura consderata. Vare rappresentazon d questo genere sono present n letteratura [3; 4; 5; 26; 27] e, anche n questo caso, s tratta d tecnche problem-orented, gacché cascuna d esse presenta delle peculartà che la rendono adatta ad un partcolare problema. In generale, le feature che possono essere usate per la descrzone del contenuto delle mmagn possono essere raggruppate n due categore prncpal: caratterstche morfologche: un nseme d grandezze che descrvono la forma (shape) delle strutture contenute nell mmagne e, qund, rchedono la determnazone de bord o contorn d queste; caratterstche denstometrche (o d ampezza): un nseme d varabl che tengono conto delle propretà d ntenstà, lumnostà e colore delle mmagn e delle strutture n esse contenute. Un altra classe ndvduable è, po, quella costtuta dalle caratterstche della tesstura (texture) dell mmagne, defnta n termn d raggruppament d pxel che con la loro dsposzone spazale per l loro motvo unforme non sono suffcentemente rappresentat dal solo attrbuto colore dell mmagne. Caratterstche Morfologche. Le regon estratte attraverso l processo d segmentazone possono essere valutate n termn d grandezze che ne descrvano la forma, la dmensone, la poszone e l orentamento. Tal caratterstche vengono n tal senso ndcate anche con l termne d descrttor (shape descrptor) e rchedono la determnazone de contorn delle regon da valutare. La rcerca e la rappresentazone de bord è uno de problem pù compless conness all'elaborazone e anals delle mmagn. Il procedmento deve essere necessaramente preceduto da una fase d segmentazone, che determn qual aree dell'mmagne possono contenere contorn d oggett. Partendo da cò, vene effettuata un'anals d dette le aree, per scartare punt che presumblmente non appartengono a qualche contorno. Infne, s procede ad un'anals pù dettaglata per estrarre dall'mmagne una rappresentazone de pxel rmast, sfruttata dagl operator per l calcolo de descrttor. Uno de pù semplc descrttor d forma è la lunghezza del contorno della regone, ovvero l permetro della stessa, e può essere ottenuta n manera grossolana contando pxel lungo l contorno. In alternatva, è possble utlzzare la catena d codc (chan code) usata per rappresentare un contorno consderandolo una sequenza d segment conness d lunghezza costante. Tpcamente, tale rappresentazone è basata sulla connettvtà. La catena vene, qund, generata seguendo l contorno dell'oggetto, generalmente n senso oraro, ed assegnando una drezone a segment che congungono ogn coppa d pxel. Utlzzando tale rappresentazone, la lunghezza è data esattamente dal numero d component vertcal e orzzontal pù l numero d component dagonal moltplcato 2. Un altra caratterstca geometrca è l area, calcolable grossolanamente come l numero de pxel contenute nella regone consderata. Un metodo pù sofstcato consste nel consderare la regone come un polgono e qund calcolarne l area sommando le aree d pccol trangol determnat a partre da un punto generco (x 0,y 0 ) scelto all nterno della regone (Fgura 7): da =x 2 y - 2 x y - 2 x2 y 2-2 (x2 -x )(y -y 2 ) (6) Fgura 7. Illustrazone del metodo d calcolo dell'area d un polgono. 3

14 Dalla somma delle aree de pccol segment è possble ottenere l area totale del polgono: r 2 = 0 A = ( x y (7) + x+ y ) Ampezza e lunghezza sono altre nformazon morfologche che possono essere determnate valutando l massmo e l mnmo delle coordnate de punt della regone. Un alternatva a questo metodo prevede l ndvduazone, attraverso una procedura teratva [5], del cosddetto rettangolo d nclusone mnmo (Mnmum Enclosng Rectangle, MER), le dmenson del quale corrspondono a quelle della regone consderata. Il MER permette d calcolare anche un altro descrttore d forma, la cosddetto rettangolartà della ROI, defnta dall espressone seguente: A R ec = (8) A MER dove A è l area della regone e A MER quella del MER. Tale grandezza assume valore massmo par ad nel caso d regon rettangolar. Un descrttore dello stesso genere del precedente è l cosddetto shape factor o crcolartà della ROI e consste nel seguente rapporto: 2 P SF = (9) A E possble normalzzare questo rapporto per l valore dello shape factor d un cercho, ovvero 4π, ottenendo, n tal modo, un ndce della crcolartà della regone consderata. Altre caratterstche morfologche possono essere calcolate attraverso cosddett moment, varabl tpche della statstca l cu uso è stato esteso all elaborazone d mmagn, gacché queste possono essere nterpretate come una funzone d dstrbuzone n un pano. Formalmente, la defnzone generale d momento cartesano d ordne p + q d una funzone dstrbuzone f(x, è data dalla seguente: p q m p, q = x y f ( x, dxdy (20) che nel caso dscreto consderando un mmagne I nxm dventa: m def m n p q p, q = x y I x, y= 0 x= ì ( (2) L'attrattva nell'uso de moment per la rappresentazone degl oggett è dovuta al teorema d unctà d Papouls. In esso s assersce che, per una funzone f(x, a tratt contnua, con element dvers da zero solo per una regone fnta del pano (x,, esstono moment d tutt gl ordn. Per caratterzzare tutte le nformazon contenute n un'mmagne sono rchest potenzalmente un numero nfnto d moment, l dea, nvece, nella pratca è quella d selezonarne un nseme rdotto ma sgnfcatvo d n grado d descrvere con suffcente accuratezza gl oggett d nteresse. Il pù comune è l momento d ordne zero dato dalla seguente espressone: m 0,0 = I( x, dxdy (22) l quale rappresenta la massa o volume totale della funzone dstrbuzone. Se l'mmagne è stata bnarzzata, l momento d ordne zero rappresenta l'area totale dell'oggetto n essa rappresentato. I due moment prm m 0, m 0 permettono d localzzare l centro d massa o centrode C de = (c x,c y ) della ROI, ndvduato da seguent due rapport: m m0, c x c = (23) m,0 = y m0,0 da dstnguers dal barcentro, nel caso n cu l applcazone non rguard un mmagne bnara. Se l'mmagne era stata precedentemente segmentata, allora l centro d massa è l punto n cu s potrebbe concentrare tutta la massa dell'oggetto senza modfcare moment del prm'ordne. Rsulta 0,0 4

15 utle, qund, l suo utlzzo come punto d rfermento per descrvere la poszone dell'oggetto nell'mmagne. Se un'mmagne I(x, è traslata n modo tale che l centro d massa venga a concdere con l'orgne (0,0), allora moment calcolat con la nuova mmagne sono dett moment central e sono rfert con la notazone µ pq. Formalmente, vale la seguente defnzone: p q p, q x y I ( x cx, y c y ) µ = dxdy (24) L'mportanza de moment central rsede nella loro nvaranza alle traslazon dell'oggetto nell'mmagne. I moment del secondo ordne µ 20, µ, µ 02 sono conoscut come moment d'nerza e permettono d determnare alcune utl feature come gl Ass Prncpal e la best-ft elpse, ovvero l ellsse che ha gl stess ass prncpal della ROI. I prm possono essere descrtt come la coppa d ass lungo qual s ha l mnmo e l massmo momento del second'ordne. L'orentamento degl ass prncpal è dato dalla seguente espressone: 2µ, φ = tan (25) 2 µ 2,0 µ 0,2 n cu φ rappresenta l angolo d nclnazone dell asse prncpale alla asse delle ascsse, compreso nell ntervallo [-π/4; π/4]. La best-ft elpse è un dsco ellttco costante con massa e moment del second'ordne ugual all'orgnale. La lunghezza de semass mnore L mn e maggore L max d tale ellsse sono dat dall espresson seguent: / µ 2,0 + µ 0,2 + ( µ 2,0 µ 0,2) + 4µ, max = µ 0,0 / µ 2,0 + µ 0,2 ( µ 2,0 µ 0,2) + 4µ, mn = µ 0,0 L (26) L (27) I moment d ordne maggore permettono d defnre caratterstche dell mmagne che rguardano la dstrbuzone de valor d grgo all nterno della stessa e pertanto appartengono alla classe d feature trattate nel paragrafo successvo. Caratterstche denstometrche. S tratta d un nseme d varabl defnte nterpretando l mmagne come una funzone d dstrbuzone delle tonaltà d grgo. Il loro valore può essere determnato faclmente sfruttando l stogramma dell mmagne, posto g [0,G max -] e p g l valore corrspondente nell stogramma calcolato secondo la (6), ovvero come rapporto tra numero d pxel con tonaltà g e l numero totale d pxel dell mmagne. Le caratterstche denstometrche maggormente utlzzate sono la meda µ, corrspondente al momento d ordne prmo e la varanza σ, momento d secondo ordne: Gmax µ = g pg = I( x, (28) A σ 2 = g= G max g= A ( g µ ) p ( x, ROI ( x, ROI g = ( I ( x, µ ) 2 (29) Con moment central d ordne maggore è possble ottenere l asmmetra o skewness γ, legata al momento d terzo ordne, che descrve l grado d devazone della dstrbuzone dalla smmetra della meda e la kurtoss β, ottenuta dal momento d quarto ordne, che msura quanto sa acuto l pcco della dstrbuzone dell stogramma. Le espressone per l calcolo d queste caratterstche sono rportate d seguto: µ γ = (30) µ 3 3 / 2 2 µ β = 4 3 (3) µ 2 2 Altre due grandezze utl per la descrzone del contenuto d ntenstà dell mmagne sono 5

16 l energa S E e l entropa S P, defnte rspettvamente dalle due espresson che seguono: G = max 2 E p g g = S (32) Gmax g g= S = p log p (33) T 6. Estrazone e selezone delle caratterstche. Come ntrodotto nella sezone precedente, la scelta delle caratterstche usate per la rappresentazone de pattern rappresenta un problema d fondamentale mportanza. Le prestazon d un sstema d PR sono, nfatt, strettamente legate al numero d feature selezonate, al numero d esemp utlzzat nella fase d addestramento (dmensone del tranng set) del classfcatore e alla complesstà d quest ultmo. Uno de problem da affrontare n questo senso rguarda l fenomeno del curse of dmensonalty (maledzone della dmensonaltà) che comporta l cosddetto peakng phenomenon, anche noto come fenomeno d Hughes, secondo cu l aggunta d nuove feature può portare ad una degradazone delle prestazon del sstema nel caso n cu l nseme d tranng sa lmtato [0; 28; 29]. Tutt sstem d classfcazone comunemente utlzzat, ncluse quell basat su archtetture neural, possono soffrre d questo fenomeno e, purtroppo, non è possble stablre un esatta msura d correlazone tra la probabltà d errore nella classfcazone, la dmensone del tranng set, l numero d feature e l numero d parametr lber usat dal sstema [30]. Un possble metodo per affrontare l problema è quello d usare un nseme d addestramento suffcentemente elevato: secondo alcun tale dmensone dovrebbe rsultare almeno dec volte la dmensone dello spazo delle feature ed aumentare con l aumento della complesstà del sstema [29]. Un secondo approcco rguarda, nvece, la dmensone dello spazo delle caratterstche, 2 g ovvero la rduzone del numero d feature usate per la loro rappresentazone o descrzone. Una soluzone d questo genere, basata sulla consderazone del mnor numero possble d varabl consderate, rsulta complessvamente auspcable sa per una maggore accuratezza della classfcazone che per problem d costo computazonale: un nseme lmtato d feature salent semplfca sa la rappresentazone de pattern sa l sstema svluppato su tale rappresentazone. D altro canto, la rduzone deve essere effettuata n modo da non causare una dmnuzone del potere dscrmnante delle caratterstche e, qund, un peggoramento delle prestazon del sstema. I metod svluppat per la messa n pratca d questa soluzone possono essere dstnt n estrazone e selezone delle caratterstche. Spesso le due denomnazon vengono usate n manera ntercambable n letteratura, ma s tratta, n realtà, d due approcc dvers: la selezone consste nella scelta del sottonseme ottmale dell nseme d feature nzale, mentre l estrazone consste nella generazone d nuove caratterstche attraverso trasformazon o combnazon d quelle nzal. Frequentemente, l applcazone d un metodo d estrazone precede quella d un metodo d selezone: nzalmente vengono estratte le feature dall nseme d osservazon effettuate (usando ad esempo l anals delle component prncpal) e successvamente quelle che rsultno avere un rdotto potere dscrmnante vengono elmnate attraverso un processo d selezone. I metod d selezone comportano una rduzone del costo computazonale, graze al mnor numero d feature da determnare, noltre le caratterstche selezonate mantengono l loro sgnfcato fsco orgnale e l rsultato della selezone può fornre nformazon crca l processo d generazone de pattern. D altro canto, le caratterstche ottenute da un processo d estrazone possono fornre un maggor grado d dscrmnazone rspetto a quello del sottonseme ottmale, ma ad esse non corrsponde un charo sgnfcato fsco. 6

17 6.. Metod d estrazone. I metod d estrazone delle caratterstche (feature extracton), attraverso una trasformazone lneare o non lneare, determnano all nterno dello spazo orgnale delle feature d dmensone d un approprato sottospazo d dmensonaltà m, con ovvamente m d. Le trasformazon lnear, come l Anals delle Component Prncpal (Prncpal Componente Analyss, PCA), l Anals delle Component Indpendent (Indpendent Component Analyss, ICA), l Anals Dscrmnante Lneare (Lnear Dscrmnant Analyss, LDA), sono stat ampamente utlzzate nell ambto del PR per l estrazone delle feature e la rduzone della dmensonaltà de dat. La PCA detta anche trasformata d Hotellng o espansone d Karhunen-Loève [3; 32] è ndubbamente l metodo pù conoscuto ed applcato [27; 33; 34; 35; 36; 37]. S tratta d una tecnca d anals basata sulle propretà statstche de pattern; proposta nzalmente per l anals d covaranza, è stata applcata a var problem, qual la trasformazone d varabl correlate n varabl scorrelate, la rcerca d una combnazone lneare con massma varanza, la rduzone de dat, l estrazone delle feature. L applcazone della PCA consste nella determnazone degl m autovalor massm della matrce d covaranza, d dmenson d d, degl n pattern consderat. La trasformazone lneare applcata è defnta nel modo seguente: Y = XH (34) dove X è la matrce n d de pattern consderat; Y è la matrce n m rsultante dalla trasformazone; H è la matrce d m che realzza la trasformazone lneare ed è costtuta dagl autovettor corrspondent agl m autovalor massm. Gl autovettor relatv agl autovalor massm vengono defnt component prncpal e rappresentano la drezone d massma varazone de pattern, mentre gl autovalor corrspondent rappresentano la varanza degl stess. La trasformazone mplementata è una semplce rotazone dello spazo d rappresentazone de pattern che allne gl ass lungo la drezone d massma varanza. Selezonando gl autovettor con autovalor massm, la PCA utlzza le feature maggormente espressve, ortogonal tra loro, approssmando dat attraverso un sottospazo lneare che soddsf l crtero d rduzone dell errore quadratco medo [38]. Tuttava, la scelta delle component prncpal, pur asscurando perdta d nformazone mnma, non sempre asscura la consderazone delle feature con maggore potere descrttvo. Un esempo d quanto appena affermato, per un semplce caso d spazo d rappresentazone bdmensonale e problema con due class d separazone è rportato n Fgura 8, nella quale è evdente che la componente prncpale φ, pur avendo l maggor potere descrttvo, asscur un grado mnore d dscrmnazone delle class. Fgura 8. Esempo d applcazone della PCA: la feature φ 2 ha un potere dscrmnante mentre la componente φ ha un maggor potere descrttvo. Mentre la PCA è un metodo d estrazone non-supervsonato, nella Anals Dscrmnante Lneare [38] s sfrutta l nformazone relatva alla classfcazone da effettuare per selezonare le feature con maggor potere dscrmnante. La separazone all nterno delle class vene enfatzzata sosttuendo alla matrce d covaranza usata nella PCA una msura generale d separabltà come l crtero d Fsher, che consste nella 7

18 consderazone degl autovalor della seguente matrce: S I S E ottenuta come l prodotto delle due matrc: S I nversa della matrce d dspersone ntra-classe S E matrce d dspersone extra-class; con l obettvo d mnmzzare la varanza ntra-class ed aumentare quella extra-class. La trasformazone applcata n questo caso, qund, determna una proezone de vettor de pattern tale che quell appartenent alla stessa classe sa vcn, mentre le mede delle class ottenute sano l pù lontano possble. Nella versone d base la LDA assume che dat abbano dstrbuzon Gaussane, se cò non avvene s rscha d perdere nformazon n merto alla struttura de pattern. Un metodo lneare maggormente approprato per dstrbuzon non Gaussane è quello dell Anals delle Component Indpendent [39] svluppato ed applcato nzalmente nell ambto dell elaborazone de segnal [40; 4] ma esteso anche n altr camp, qual l anals delle mmagn [42] e l rconoscmento d volt [42; 43]. Il metodo consste nell applcazone d una trasformazone lneare che mnmzz l grado d dpendenza delle nuove feature ottenute, formalmente s tratta della seguente espressone: Y = XW (35) dove X è la matrce n d de pattern consderat; Y è la matrce n m rsultante dalla trasformazone; W è la matrce d m che realzza la trasformazone lneare tale che le colonne d Y sano l pù ndpendent possbl secondo una qualche msura d ndpendenza. Purtroppo non esste un espressone esplcta per la trasformazone W e le tecnche proposte per l applcazone dell ICA consstono n algortm teratv che applcano un qualche crtero d rcerca. Detto crtero dpende dalla msura d ndpendenza selezonata che può essere l nformazone mutuale, l entropa o la negentropa [44], grandezze che verranno dscusse n maggore dettaglo nella parte successva Metod d selezone. La scelta delle feature usate nella rappresentazone de pattern è quas sempre basata sulle potere che queste hanno nel descrvere gl stess, tuttava, come evdenzato nell esempo relatvo alla PCA, l potere descrttvo d una feature non sempre corrsponde a quello d dscrmnazone della stessa (Fgura 3.22). Questo problema può essere affrontato applcando un metodo per la selezone delle caratterstche. Formalmente, l problema della selezone delle feature può essere defnto nel modo seguente [45]: sano l nseme d cardnaltà d delle feature nzal F che assumono valor f, m l numero d feature desderate; J un crtero d selezone che ndch la bontà dell nseme d feature selezonate l obettvo d un metodo d selezone è quello la determnazone d un sottonseme Γ d Φ, d cardnaltà m, tale da massmzzare J(F), ovvero Γ = max J ( Z) (36) Z Φ, Z = d La scelta pù semplce per J è J = P e (37) dove P e rappresenta l errore d classfcazone. In tal caso, le procedure d selezone delle caratterstche sono strettamente dpendent dal tpo d classfcatore utlzzato e dalla dmensone dell nseme d addestramento d questo. Ovvamente, l modo pù mmedato per la selezone consste n una rcerca esaustva, valutando del crtero J per tutt possbl sottonsem F, l che rchederebbe un calcolo d combnatoro (v sarebbero possbl cas) m e, qund, napplcable nella pratca. Per tale motvo sono stat propost n letteratura var metod per effettuare questa rcerca. 8

19 Complessvamente, dunque, un metodo d selezone delle caratterstche rchede la scelta d [8; 45; 46; 47]: una stratega d rcerca per selezonare le feature canddate; un crtero d bontà per valutare le feature canddate. Per quanto rguarda l prmo punto, vare sono le stratege proposte n letteratura e possono essere raggruppate n tre approcc prncpal:. algortm esponenzal; 2. algortm sequenzal; 3. algortm randomzzat. Algortm esponezonal. Valutano un numero s sottonsem d caratterstche che crescono esponenzalmente con la dmensone dello spazo d rcerca. Ne sono esemp: la rcerca esaustva, garantsce la soluzone ottma ma, come gà rportato, è napplcable perché esponenzale; l algortmo branch-and-bound: ntrodotto da Fukunaga et al. [38] garantsce la soluzone ottma nel caso n cu sa valda la condzone d monotona del crtero d bontà utlzzato, ovvero se vale la seguente condzone: J A B) J ( A), A, B Φ ( (38) I sottonsem d feature vengono trattat come nod d un albero, ordnat secondo la relazone d nclusone e ottenut elmnando una caratterstca per nodo fno ad un mnmo d m element. Partendo dalla radce, costtuta dall ntero nseme F, vengono rmosse man mano le feature secondo una stratega d rcerca n profondtà (depthfrst): quando s raggunge una fogla l valore ottmo corrente (l bound) vene aggornato, qund, procedendo nella rcerca, nod che presentano un valore mnore della funzone d bontà rspetto all ottmo corrente non vengono esplorat, gacché le loro fogle non contengono una soluzone mglore. La rchesta della monotona d J e la complesstà esponenzale, nel caso pessmo, lmtano l applcazone d questo metodo nella pratca; la beam search: anche n questo caso [48] sottonsem d feature vengono trattat come nod d un grafo, ma l crtero d esplorazone è l best-frst. Ad ogn passo, vengono valutat nod sngolarmente e mglor vengono mantenut n una coda o fasco (beam). Al passo successvo, nuov nod vengono nsert nel fasco nella poszone corretta n base al valore d bontà ad ess assocato. S tratta tuttava d un metodo applcato molto raramente [48]; Algortm sequenzal. S tratta d metod d tpo greedy, sub-ottm, che procedono nella rcerca aggungendo o elmnando sequenzalmente una o pù feature. Presentano l nconvenente d ncorrere n mnm local. In questa classe rentrano seguent metod: la selezone sequenzale n avant (Sequental Forward Selecton, SFS): a partre dall nseme vuoto, s selezona, ad ogn passo, tra le feature canddate quella che asscura l valore del crtero d bontà maggore quando combnata con le altre caratterstche gà selezonate. S tratta d un metodo computazonalmente attraente, che funzona meglo nel caso n cu l nseme ottmo sa d dmenson rdotte, gacché nel caso n cu questo sa prossmo all ntero Φ l numero d cas esamnat è alto. Lo svantaggo prncpale che, nvece, presenta è l ncapactà d elmnare le feature selezonate, anche se dventano rrlevant dopo l aggunta delle nuove; la selezone sequenzale all ndetro (Sequental Backward Selecton, SBS): a partre dall ntero nseme d feature, s elmna, ad ogn passo, la feature che asscura la mnore rduzone del valore d bontà del nuovo nseme ottenuto (è possble che la rmozone aument l valore d J, nel caso d crtero non monotono). Il metodo rchede un 9

20 maggore sforzo computazonale rspetto al precedente e funzona al meglo nel caso n cu l nseme ottmale sa d grand dmenson. Il prncpale svantaggo d questo metodo è l mpossbltà d rvalutare l utltà d una feature una volta che estasa stata elmnata; l algortmo Plus-l-Mnus-r (LRS): s tratta d una generalzzazone de due metod precedent. Se l è maggore d r, s parte dall nseme vuoto, nel caso contraro s parte dall ntero Φ e ad ogn passo s aggungono e rmuovono, rspettvamente, l ed r feature secondo gl stess crter d SFS ed SBF. Tale metodo cerca d compensare le lmtazon d SFS e SBF, offrendo una certa capactà d rvalutazone delle feature scartate, ma presenta come nconvenente l assenza d un modo per stablre valor mglor d l ed r; l algortmo d selezone n avant o all ndetro fluttuante (Sequental Forward Floatng Selecton, SFFS e Sequental Backrward Floatng Selecton, SBFS): s tratta d un estensone del metodo LRS che non fssa valor d l ed r [49]. SFFS parte dall nseme vuoto e, dopo ogn passo d selezone n avant, esegue un certo numero d pass all ndetro fntanto s abba un aumento del valore del crtero d bontà, mentre SBFS procede esattamente nel modo opposto; Algortm randomzzat. Eseguono una rcerca casuale (random) per evtare mnm local. Esemp rappresentatv d questa classe sono: la generazone random con selezone sequenzale: ntroduce una certa casualtà ne metod SFS e SBS, generando ad ogn passo n manera random un sottnseme d feature al quale applcare uno d tal algortm; gl algortm genetc: ntrodott nell ambto della selezone delle feature da Sedleck et al. [50], rappresentano l generco sottonseme d caratterstche come una strnga bnara (cromosoma) d dmensone d, avente un per le feature contenute nel sottonseme e uno 0 nel caso opposto. Vene, qund, applcato l processo d evoluzone, attraverso le tpche operazon d selezone, mutazone e rproduzone, fno ad ottenere la popolazone ottmale. De metod sopra elencat, l unco ottmo è l branch-and-bound, mentre tutt gl altr sono sub-ottm. Alcun stud [45; 5; 52] hanno confrontato tal metod su var cas applcatv, come la classfcazone delle mmagn radar e la dagnos d un sstema, comparandone l tasso d errore e l tempo d esecuzone. La conclusone generale è che l metodo SFFS asscura prestazon mglor, sml a quelle del metodo branch-and-bound, rchedendo una quanttà nferore d rsorse computazonale. Per quanto rguarda la selezone del crtero d bontà utlzzato per valutare le feature canddate, esstono due approcc dvers: fltr: s tratta d funzon che valutano sottonsem d feature sulla base del loro contenuto, della dstanza tra le class da rconoscere, delle dpendenze statstche tra le varabl o d msure rcavate dalla Teora dell Informazone; wrapper (letteralmente nvolucr): l crtero d bontà è rappresentato da un qualche algortmo d classfcazone che vene applcato a dat rappresentat con l sottonseme d feature consderate, per valutarne l accuratezza predttva n termn d tasso d classfcazon corrette su un nseme d test. Il prmo approcco rsulta pù dffuso nella pratca n quanto non rchede la necesstà dell addestramento d un classfcatore. I vantagg offert da metod basat su wrapper sono maggore accuratezza, msurata n termn d errore d classfcazone nferore graze alla stretta nterazone tra classfcatore e nseme de dat, e maggore capactà d generalzzazone, dovuta al processo d crossvaldaton usato nella fase d selezone che 20

21 permette d evtare stuazon d overfttng 3. Gl svantagg sono, nvece, la lentezza nell esecuzone, dovuta alla necesstà d addestramento del classfcatore per ogn nseme d feature selezonato, e la mancanza d generaltà della soluzone che rsulta strettamente correlata al classfcatore utlzzato. I vantagg de metod basat sull uso d fltr sono, n tal senso, esattamente oppost agl svantagg de metod del prmo tpo, ovvero veloctà d esecuzone e generaltà, asscurata dal fatto che la soluzone sa ottenuta ndpendentemente dal classfcatore e, qund, rsult soddsfacente e valda per una famgla d sstem d classfcazone. Uno svantaggo d quest metod è la tendenza a selezonare nsem d feature d dmenson elevate, soprattutto nel caso n cu le msure utlzzate sano monotone. In letteratura sono present metod che adottano come fltr var tp d funzon, qual: msure d dstanza o d separabltà; msure d correlazone. Le prme sono metrche che permettono d valutare la separabltà delle class da rconoscere, ne sono esemp la dstanza Eucldea o d Mahalanobs msurate tra le class o gl autovalor della matrce S I S, E secondo l anals dscrmnante; Le altre sono rappresentate da msure, lnear o non lnear, che permettono d selezonare le feature che abbano l maggor grado d correlazone e, qund, potere predttvo delle class e sano non correllate tra loro. Consderata la varable d classfcazone C, un esempo d msura lneare è d un sottonseme d caratterstche è rappresentato dal coeffcente d correlazone defnto nel modo seguente [8]: 3 L overfttng è un fenomeno per cu un classfcatore adattvo s specalzza eccessvamente su dat d apprendmento, dmostrando una rdotta capactà d generalzzazone su dat estrane a tale nseme. m = m ρ m c = j= + ρ j (38) dove ρ y è l coeffcente d correlazone tra le - esma feature, F, e l etchetta c della classfcazone C; ρ j è l coeffcente d correlazone tra la - esma e la j-esma feature dell nseme consderato. La semplce correlazone, tuttava, permette d msurare solamente le dpendenze lnear, una msura pù effcente e sgnfcatva, n tal senso, è l nformazone mutuale o recproca (Mutual Informaton, MI), una grandezza non lneare che prende orgne dalla Teora dell Informazone [53]. Pù precsamente, consderate due varabl casual (v.c.) X e Y, l nformazone mutuale MI(X,Y) è defnta dall espressone seguente: MI( X, Y ) = H ( X ) H ( X Y ) 4 (39) dove H rappresenta l entropa assocata ad una v.c. e msura l ncertezza ad essa assocata. Per una varable contnua, l entropa è defnta come H ( X ) = p( x) log 2 p( x) dx (40) mentre quella d una v.c. dscreta, la precedente dventa: H ( X ) p( x) log 2 p( x) (4) = x n entramb cas p(x) rappresenta la probabltà margnale della dstrbuzone della v.c. X. Come antcpato, l entropa fornsce una msura dell ncertezza assocata alla v.c. 4 Tale formula è equvalente alla seguente MI( X, Y ) = H ( X ) + H ( Y ) H ( X, Y ), dove H(X,Y) ndca l entropa congunta delle due v.c., calcolata come H ( X, Y ) p( x, log 2 p( x,. = x y Vale, nfatt, l uguaglanza H ( X, Y ) = H ( Y ) H ( X Y ). 2

22 X: nel caso n cu uno de valor x sa quas certo (p( x )=, p(x)=0 x x ), H(X) assume valore nullo, se valor d X sono tutt equprobabl (p(x)=/ X, x), l entropa assume valore massmo, par a log 2 X. Un ulterore defnzone rguarda l entropa condzonata o relatva, calcolable nel modo seguente: H X Y ) = p( x)log p( x ( 2 (42) p( y che stablsce l ncertezza a posteror d X dopo aver osservato Y. Utlzzando, qund, la (42) con la formula per l calcolo della probabltà condzonata, è possble rcavare l espressone per la defnzone della MI n funzone delle probabltà margnal e congunte delle due v.c. consderate, ovvero la (39) dventa: p( x, MI( X, Y ) = p( x, log 2 (43) ( ) ( ) x x y p x p y dove, per l appunto, p(x, rappresenta l valore della probabltà congunta delle due varabl. Dalla (39) s deduce che la MI msur quanto l ncertezza relatva alla v.c. X sa rdotta n seguto all osservazone d Y: se le due varabl sono ndpendent, la loro nformazone recproca è nulla, gacché l osservazone d Y non rduce l ncertezza su X, vceversa se X e Y concdono, allora MI(X,X) = H(X), da cu l nterpretazone dell entropa come nformazone assocata alla varable X. Questo dmostra, anche, che n realtà la MI non costtusce una metrca, poché non soddsfa tutte le propretà rcheste n tal senso. Una propretà che la caratterzza è nvece la smmetra: MI(X,Y) concde con MI(Y,X). Poché la MI non rchede nessuna assunzone rguardo la natura della relazone tra due varabl, la sua valdtà ha carattere generale e, n tal senso, vene essa vene spesso nterpretata come una generalzzazone del coeffcente d correlazone lneare. Cò avvene anche nell ambto dell anals dscrmnante lneare, come ntrodotto n precedenza. Il concetto d nformazone mutuale può essere faclmente esteso al caso d pù varabl casual: applcando la regola della catena, l nformazone mutuale congunta (Jont Mutual Informaton, JMI) tra un nseme d N v.c. X e una varable Y è defnta nel modo seguente: N,.., X N ; Y ) = MI( X, Y X,.., X ) = JMI( X (44) Quest ultma msura può essere utlzzata come crtero d bontà n un algortmo per la selezone delle feature: n tal caso, l fltro applcato è rappresentato dal valore della JMI d un nseme d caratterstche Γ costtuto da d feature F, consderate come varabl casual che assumono valor f nello spazo d rappresentazone de pattern, e la varable C che rappresent la classfcazone: J(Γ) = JMI(F, F 2,, F d ;C) (45) utlzzando per JMI l espressone (44). La MI congunta, nfatt, fornsce una msura mglore d bontà rspetto alla MI calcolata semplcemente per una sngola feature e la varable d classfcazone, n quanto tene conto della totaltà delle feature consderate nell nseme corrente, mentre nel caso n cu s usasse solo la MI s potrebbe ottenere un nseme sgnfcatvo ma rdondante. Il calcolo d una smle msura rchede, tuttava, la determnazone della probabltà congunte dell nseme d varabl Γ e la C, l che n spaz d dmenson elevate è un problema mal-posto (ll-posed). Una valda soluzone a questa stuazone è quella proposta da Battt [54], nella quale vene adottata un eurstca per l nseme d feature e la classfcazone defnta nel modo seguente: d J ( Γ, C) = MI( F, C) τ MI( F, F ) (46) = = j= + ovvero prevede l calcolo della somma della MI tra ogn sngola feature e la classfcazone C alla quale vene sottratta la MI che caratterzza cascuna delle feature selezonate n modo da pesare anche l grado d d j 22

23 d correlazone tra esse e, qund, escludere feature rdondant. In partcolare, Battt propone un opportuno algortmo per la selezone delle caratterstche, basato su una stratega d rcerca d tpo SFS, che ad ogn passo valuta per cascuna delle feature F canddate l seguente crtero: J ( F, C) = MI( F, C) τ MI( F, F ) (47) d k = dove F k sono le caratterstche gà nserte nell nseme da selezonare. Il parametro τ pesa le due nformazon ed assume valor compres nell ntervallo [0.5,]. Un problema che comunque permane n questo approcco è la stma della probabltà congunta delle due varabl correntemente consderate. In realtà l calcolo della MI costtusce un problema fondamentale nell ambto dalla Teora dell Informazone. In letteratura è possble trovare dverse soluzon a tale problema proposte sa per la stma dretta della MI sa per l calcolo della denstà congunta [55; 56; 57], ma la tecnca maggormente utlzzata [58] consste nel cosddetto approcco dretto [59; 60] che prevede l calcolo della seconda grandezza attraverso la suddvsone dello spazo d cascuna varable n un certo numero d ntervall l uso dello spazo bdmensonale così dscretzzato per calcolare valor della denstà. Il numero d segment (bn) può essere determnato n manera ndpendente da dat dsponbl [58] oppure utlzzando le caratterstche d dstrbuzone d quest [60; 6]. Come msura per la selezone delle feature la MI è stata applcata a var problem d PR, qual, ad esempo, la dagnos dell embola polmonare n mmagn ottenute con la tecnca d scntgrafa nucleare [60], l rconoscmento del parlato [6; 62] e la classfcazone d test. 7. Metod d rconoscmento. Il processo d rconoscmento, come accennato, può essere realzzato secondo approcc dstnt de qual quattro prncpal sono [; 8; 30]: k l template matchng; l approcco statstco; l approcco sntattco o strutturale; l approcco neurale. Tal metod non sono necessaramente ndpendent e, a volte, lo stesso metodo può avere dverse nterpretazon [30]. Inoltre, v sono delle caratterstche comun alle vare metodologe elencate, come la presenza d una sorgente d pattern stocastca e l obettvo dell ndvduazone d un mappng dallo spazo delle msure allo spazo de sgnfcat, aderente alla realtà. In generale, qund, qualunque sa l metodo utlzzato, esso s rconduce sempre all approcco statstco e con esso se ne confrontano rsultat per poterne gudcare la qualtà. Infne, sono stat fatt alcun tentatv per l unfcazone d metod dvers n sstem che vengono defnt d conseguenza brd [63]. D seguto vene rportata una breve descrzone de prm tre approcc, per po descrvere con maggore lvello d dettaglo quello neurale. Ne vengono, noltre, rassunte le peculartà nella Tabella I n rfermento alle soluzon adottate da cascuno d ess per le queston crucal dello svluppo d un sstema d PR, ovvero l tpo d rappresentazone, la funzone d decsone ed l crtero d apprendmento. Tabella I. Quattro approcc al Pattern Recognton e rspettv modell descrttv Approcco Template Matchng Statstco Sntattco Ret Neural Rappresentazone Campon, pxel curve Caratterstche Prmtve Campon, pxel, curve, caratterstche Funzone d decsone Correlazone msure d dstanza Funzone dscrmnante Regole e grammatche Algortmo neurale Crtero tpco Errore d classfcazone Errore d classfcazone Errore d Accettabltà Errore d classfcazone 23

24 Template Matchng. Il Template Matchng è uno de prm e concettualmente pù semplc approcc propost e consste nello stablre una msura d smlartà tra due enttà (punt, curve o forme) dello stesso tpo. Vene mantenuto un template o prototpo (d solto una forma bdmensonale) per l pattern da rconoscere, con l quale vene fatto l confronto per l enttà correntemente analzzata, consderando tutte le possbl pose (traslazone e rotazone) e rduzon d scala. La msura d smlartà utlzzata per detto confronto, spesso d correlazone, può essere ottmzzata sulla base dell nseme d tranng dsponble e, soltamente, lo stesso template vene appreso da dat. Il processo d matchng è, n generale, molto costoso e cò ha posto grav lmtazon n passato all applcazone d tale approcco nella pratca, allevat attualmente dalla dsponbltà d processor pù potent. Il template consderato nel tecnca d base è rgdo l che comporta degl nconvenent nel caso d eventual dstorson de pattern o, se s tratta d strutture contenute nelle mmagn, cambamento della vsuale o, ancora, grande varanza de pattern all nterno d una stessa classe. Quest svantagg possono essere rsolt utlzzando template deformabl, utl ne cas n cu non sa possble modellare n manera semplce e dretta le deformazon de pattern. Esemp d applcazon d questo metodo sono l object recognton [64; 65] e l rconoscmento d caratter manoscrtt [66]. Approcco statstco. Nell approcco statstco, detto anche decson theoretc, le tecnche d decsone utlzzate per l rconoscmento sono ntrnsecamente statstche, n rfermento alle dstrbuzon de pattern, controllate da legg probablstche. Le enttà da rconoscere o classfcare sono rappresentate da vettor d caratterstche (feature) che costtuscono gl element dello spazo d rappresentazone, da cu derva la denomnazone d sstem d rconoscmento d tpo feature-based, ovvero basat sulle caratterstche. L obettvo nella selezone d tal grandezze è quello d avere vettor corrspondent a pattern tutt della stessa classe n zone compatte e dsgunte dalle altre. In tal senso, la bontà della rappresentazone è msurata n merto a quanto pattern sano ben separat. Dato, qund, un nseme d enttà, l procedmento consste n due pass successv: la stma delle funzon d denstà d dstrbuzone de pattern nello spazo d rappresentazone e la suddvsone d tale spazo n regon separate, delmtate da cosddett decson boundares, cascuna delle qual corrsponda ad una delle class present. In partcolare, le funzon d denstà possono esser specfcate drettamente, se note a pror oppure apprese durante la fase d addestramento. Nel prmo caso, c s rduce ad un problema statstco d test dell potes, mentre nel secondo s procede alla determnazone d una funzone dscrmnante secondo due possbl paradgm: se s ha una certa conoscenza del problema che permetta d stablre l tpo d dstrbuzone delle class, è possble utlzzare un algortmo d classfcazone parametrco per l quale la fase d apprendmento consste nello stablre parametr assocat alle dstrbuzon stesse, n modo da avere l mglor matchng possble, l metodo pù usato è quello basato sulla legge d Bayes; nel caso n cu cò non sa possble è necessaro rcorrere a cosddett classfcator non-parametrc, che stmano le denstà drettamente da dat d tranng. Il pù conoscuto tra quest è l K-nearest-Neghbor, per la semplctà concettuale e le buone prestazon asscurate. L approcco statstco è scuramente tra quell maggormente utlzzatat e, come gà rportato, costtusce l punto d confronto degl altr approcc possbl. Approcco sntattco. L approcco sntattco (o strutturale) è ndcato per cas n cu sano convolt pattern molto compless, tal da renderne poco rlevante la descrzone n termn d caratterstche e maggormente utle, al contraro, una vsone prospettca come composzone gerarchca d element costtut 24

25 da sotto-element va va pù semplc (scendendo nella gerarcha d costruzone). La relazone tra gl element d base d questa gerarcha, chamat prmtve o buldng blocks, descrve l pattern nella sua nterezza. In questo senso, vene fatta un analoga tra una smle struttura de pattern e la sntass de lnguagg: pattern sono vst come fras appartenent ad un lnguaggo e le prmtve come lettere dell alfabeto relatvo. Le fras vengano, po, formate secondo la grammatca del lnguaggo. Nell ambto d una tale nterpretazone, un ampa collezone d pattern compless può essere descrtta da un numero rdotto d prmtve e regole grammatcal. Tal regole vengono apprese dal sstema d rconoscmento durante la fase d addestramento, drettamente dagl esemp dell nseme d tranng. Da questo punto d vsta, l paradgma sntattco è nteressante n quanto, oltre alla classfcazone, offre una descrzone d come pattern sano costrut a partre da element d base. I possbl cas d applcazone rguardano pattern che abbano una struttura che possa essere catturata da regole, come traccat d ecocardogramma, le mmagn con tesstura 5 (texture) e l anals d contorn d forme []. L mplementazone dell approcco sntattco, tuttava, può causare de problem nella segmentazone d pattern rumoros e nell nferenza della grammatca. 8. Le Ret Neural come metod d rconoscmento. Le ret neural sono partcolarmente dffuse nell ambto del PR graze alle propretà funzonal che le caratterzzano rendendole partcolarmente adatte a tale compto. La prncpale dfferenza tra le ANN e gl altr approcc al PR è data dalla loro capactà d apprendere relazon ngresso-uscta molto complesse, usando una procedura d apprendmento teratva, che non rchede la 5 La tesstura d un mmagne corrsponde a pccol raggruppament d pxel con motv unforme, come verrà specfcato nella sezone successva appostamente delneata per la caratterzzazone delle mmagn ( 3.2.3). determnazone d un modello sottostante [8; 9; 67]. Il successo delle ret neural ne compt d PR è dato dalla bassa dpendenza dalla conoscenza specfca del domno, cosa che nvece rchedono gl approcc basat su modell o su regole, e dalla dsponbltà d effcent algortm d apprendmento. I sstem neural, noltre, costtuscono metod non lnear per l estrazone delle caratterstche d descrzone de pattern, eseguta da un strato ntermedo d nod che elabora una rappresentazone nterna de vettor d ngresso. Cò rende modell connessonst partcolarmente adatt non solo alla classfcazone, ma anche alla selezone ed estrazone delle feature d descrzone de pattern [30; 68], dmostrandone ulterormente la valenza applcatva ne compt d PR. Negl ultm ann, è stato dmostrato che molt de modell neural maggormente conoscut sano mplctamente equvalent a classc metod statstc d PR [69; 70]. Nonostante tale smlartà, le ANN s pongono nell ambto del PR come una metodologa che offre vantagg unc, come un approcco unvoco all estrazone delle feature e alla classfcazone e procedure flessbl per la rcerca d una buona soluzone non-lneare. Una rete neurale può essere defnta come un sstema d elaborazone adattvo costtuto da un nseme d untà elementar parallele, non lnear e altamente nterconnesse. I modell neural sono raffgurabl come ret d graf pesat e drett, n cu nod sono neuron e gl arch sono le cosddette connesson smpatche, che trasportano l uscta del nodo antecedente verso l ngresso d quello successvo. Le peculartà che caratterzzano tal sstem sono la capactà d apprendmento e generalzzazone, l adattabltà, la robustezza ovvero tolleranza al rumore, l elaborazone e la memorzzazone della conoscenza dstrbute. Cascuna untà, chamata neurone o processore o, ancora, nodo, ha un pccolo potere computazonale, ma la combnazone d molt element sffatt consente d ottenere una notevole potenza d calcolo e uno strumento matematco d calcolo flessble ed 25

26 adattable. Graze al consderevole numero d parametr lber che contengono ( pes snaptc), le ret neural sono n grado d svolgere un ampo spettro d compt [6]. Tanto pù che le varazon de pes necessare affnché la rete apprenda e acqussca conoscenza dall esperenza è automatco e segue un processo d ottmzzazone matematca che rchede l mnmo ntervento da parte d un agente esterno. Cò avvene durante l processo d addestramento della ANN, che segue lo schema tpco della messa a punto d un sstema d rconoscmento e classfcazone, ovvero s artcola n due fas: allenamento e test. Nella prma fase, vene utlzzato l nseme d addestramento per permettere l sstema d apprendere, qund nella fase successva s valuta l rsultato così ottenuto su un nseme d test, ndpendente dall nseme usato n precedenza, verfcando la valdtà della funzone d decsone raggunta. Formalmente, l elemento d base d un ANN è l cosddetto neurone artfcale [32; 7], una semplce untà d elaborazone, u, l cu funzonamento può essere schematzzato come mostra la Fgura 9 e consste nel calcolo del cosddetto ngresso netto, net, come somma pesata de valor rcevut n ngresso con pes relatv alla quale vene sottratta una sogla θ, e nell applcazone d una funzone f, detta d attvazone, a tale quanttà. Fgura 9. Schematzzazone d un neurone artfcale. Il rsultato rappresenta l grado d ecctazone del nodo al quale vene applcata F una funzone d uscta che determna l rsultato fnale dell elaborazone. Nel caso pù semplce, f è rappresentata dalla funzone a lneare, mentre funzon pù complesse generalmente utlzzate sono la funzone gradno, la logstca (o sgmode) e la tangente perbolca. La funzone d uscta è n genere la funzone denttà. L espressone rsultante è, dunque, la seguente: o = F a ) (48) ( dove a è l rsultato della funzone d applcazone calcolato come segue N j = a ( t) = f ( net ) = f ( w x θ ) (49) ndcando con N l numero delle connesson n ngresso al nodo u. Senza perdere n generaltà, è possble consderare la sogla come un ngresso agguntvo lungo una connessone alla quale sa assocato l valore -. L nseme de nod nterconness secondo la tpologa d un grafo orentato costtusce l archtettura della ANN, organzzata n modo strutturato, ovvero n un certo numero d strat o lvell, che procedono dall ngresso verso l uscta, passando per lvell ntermed che vengono defnt nascost (hdden). In tal senso, le connesson tra var nod possono essere d tre tp: n avant (feed-forward) tra uno strato e l successvo, lateral all nterno dello stesso strato o all ndetro (feedback) da uno strato superore ad uno nferore (Fgura 0). Le ret con connesson solo del prmo tpo vengono dette feed-forward, mentre quelle che prevedono anche connesson del terzo tpo sono dette rcorrent. I valor de pes lungo le connesson costtuscono la conoscenza ncamerata dalla rete durante l processo d addestramento o allenamento, che può avvenre secondo due modaltà prncpal, ovvero n modo supervsonato o non-supervsonato 6, attraverso un algortmo appostamente defnto per la topologa della rete n esame e corrspondente ad una partcolare regola d apprendmento (learnng rule). 6 Ad esse va aggunto l apprendmento con rnforzo, come specfcato n Appendce B, consderato generalmente secondaro agl approcc. j j 26

27 Tabella II. Caratterzzazone delle ANN maggormente utlzzate nell ambto del PR. Fgura 0. Tre dvers tp d connesson e archtetture: (a) rete feedforward con connesson n avant e con tre strat ngresso-nascosto-uscta, (b) rete monostrato con connesson lateral (b) rete con connesson rcorrent. Tale dstnzone fornsce un prmo crtero per una tassonoma delle ANN usate nell ambto del PR, al quale è possble aggungere la dversa archtettura della rete. Una caratterzzazone secondo quest due crter de modell neuronal maggormente adottat [72] è rportata n Tabella II e rguarda le ret feed-forward multstrato (MLFF) con algortmo d apprendmento Back-Propagaton (EBP) [73], le ret Radal Bass Functon (con funzon d attvazone a base radale, RBF) [74], le ret Learnng Vector Quantzaton (LVQ) [75], le Mappe Auto-Organzzant (Self-Organzng Map, SOM) [76], le ret basate sull Adaptve Resonance Theory (ART) [77], le ret probablstche (PNN) [78] e le ret rcorrent d Hopfeld [79]. Un ulterore dstnzone per le ret non rcorrent rguarda l modo n cu vene appresa la classfcazone: è possble parlare d ANN 8.. Le ret Error Back-Propagaton. Le ret Error Back-Propagaton (EBP) costtuscono ndubbamente la classe d modell neuronal pù popolare e maggormente dffusa a lvello applcatvo [32; 7; 73]. Come antcpato, la denomnazone EBP fa rfermento all algortmo d apprendmento utlzzato n una stratega d addestramento supervsonato, mentre l archtettura corrsponde a quella d una rete feed-forward multstrato (MultLayer FeedForward, MLFF), costtuta da uno strato d ngresso, uno strato d uscta ed eventualmente altr strat nascost (Fgura ). basate sulle caratterstche (feature-based) nel caso d ret che apprendano un mappng tra vettor d ngresso e vettor d uscta (EBP); basate su prototp (prototpe-based) nel caso d ret che astraggano dall nseme de vettor n ngresso de prototp, utlzzat come termn d confronto durante la classfcazone (LVQ, SOM,ART). Le ret RBF sono un brdo tra due tp, costtute da un prmo lvello basato su prototp e un secondo lvello d tpo EBP, basato su caratterstche. Fgura. Archtettura d un modulo EBP. L algortmo d Back-Propagaton rappresenta un estensone alle MLFF della 27

28 regola delta, ntrodotta da Wdrow e Hoff [80], per le ret feed-forward mono-strato, come generalzzazone, a sua volta, della regola d apprendmento del Perceptron d Rosenblatt [8] per le ret denomnate Adaptve Lnear Neuron (ADALINE). In tal senso, l EBP vene anche defnta regola delta generalzzata e le ret allenate medante tale algortmo vengono chamate Multlayer Perceptron (MLP). Come la regola delta, l algortmo d EBP è defnto per untà d output con funzon d attvazone dfferenzalbl ed è basato sulla mnmzzazone, attraverso un procedmento d dscesa del gradente, d una funzone errore, calcolata come dfferenza tra l uscta effettva d cascuna untà e l output desderato (tale procedura equvale alla Least Mean Square, LMS). In partcolare, la regola EBP s dstngue dalla regola del Perceprton gacché permette l allenamento d ret neural con un numero d strat arbtrar ed è questa possbltà, untamente alla semplctà d funzonamento, la generaltà d applcazone e la potenza d calcolo, che ne ha fatto l cavallo d battagla del connessonsmo, permettendo d superare l lmte delle prme ANN su problem come lo XOR. L dea alla base del funzonamento dell algortmo è quella d retro-propagare alle untà nterne l errore calcolato a lvello delle untà d uscta, ntroducendo connesson d feed-back deal che permettano d aggornare, attraverso un processo rcorsvo, pes sulle connessone nterne n funzone d quanto l uscta delle untà corrspondent ncda sull uscta globale della rete. La dervazone completa della regola EBP è rportata n Appendce B, nseme ad un anals della convergenza dell algortmo; d seguto ne vene rportato l aspetto conclusvo nel caso d una rete con due sol strat, ngresso e uscta. Sano {( x p, t p ) p =,..., P} tranng set de vettor d pattern x p ; x pj l elemento j-esmo del p-esmo vettore d ngresso, j=,,m; t p l uscta desderata per l untà -esma, =,,n, n corrspondenza del pattern p- esmo; w j l peso lungo la connessone n ngresso al nodo -esmo provenente dalla componente j-esma del vettore d ngresso nel caso d untà d ngresso oppure dall untà d ngresso j-esma nel caso d nodo d output; o p l uscta dell unta j-esma, j=,,n, calcolata applcando la funzone d attvazone lmtata e semlneare, ovvero non decrescente e dfferenzable, all ngresso netto come: o o p p = = f ( net f ( net p p ) = ) = f m =0 f ( w ) j x pj per le untà d ngresso; h ( =0 w ) jo pj per le untà d uscta E la funzone errore totale quadratco da mnmzzare, calcolata come: P E = p = E p (50) dove E p è l errore commesso sul sngolo pattern x p calcolato nel modo seguente: E p = 2 n = ( t p o p ) 2 (5) La regola EBP prevede l seguente aggornamento de pes dopo ogn passo d elaborazone dell ntero tranng set, ovvero ogn epoca: pwj = ηδ po pj (52) dove ' δ p = ( t p o p ) f ( net p ) (53) se è un untà d uscta ' δ p = f ( net p ) δ k pk w se è un untà d ngresso k (54) ed η è l cosddetto parametro o tasso d apprendmento (learnng rate). Contraramente alla regola delta, l algortmo EBP non asscura la convergenza e presenta l nconvenente d ncorrere n mnm local. Inoltre, s tratta d un algortmo molto lento, soprattutto nel caso n cu l allenamento rguard una rete con un numero elevato d 28

29 untà nascoste. Sulla base d queste consderazon sono state ntrodotte numerose varant dell EBP, che agscono sull algortmo a var lvell con l obettvo d veloczzarne e mglorarne la convergenza. Le ret MLFF n generale e, d conseguenza, le EBP godono d mportant propretà che le rendono un potente strumento matematco ed applcatvo. Sostanzalmente, la caratterstca fondamentale delle ret EBP è rappresentata dalla presenza d uno strato d ngresso ed eventualmente d ulteror strat nascost che realzzano una rcodfca nterna del vettore d nput. Tale codfca consente la trasformazone d un qualsas vettore n- dmensonale n un nuovo vettore m- dmensonale corrspondente, con m par al numero de neuron dello strato d uscta [82; 83]. In partcolare, nell ambto del PR, l elaborazone d un sngolo neurone corrsponde all ndvduazone d un perpano nello spazo degl nput, per cu la combnazone d pù nod n un archtettura con almeno lo strato d ngresso dstnto da quello d uscta (vale a dre n una rete multstrato) asscura la delneazone d regon complesse, che permettono alla rete d apprendere e rconoscere le class n cu rsultno suddvs pattern [9; 67; 84]. In questa vsone, l approcco neurale alla classfcazone è smle a quello statstco, n quanto gl perpan ndvduat da cascun nodo corrspondono a quell che vengono denomnat decson boundares nel secondo approcco e l elaborazone d cascun nodo d uscta corrsponde ad una funzone dscrmnante non lneare che dstngue una determnata classe da tutte le altre. Un llustrazone d cò è data n Fgura 2 [84] nella quale vengono mostrate le regon dstnte ndvduate, n uno spazo bdmensonale, da archtetture feed-forward d complesstà dversa, per un problema d classfcazone bnara, partendo da quella pù semplce costtuta da un unco strato. In partcolare, rmanendo nel contesto d un confronto tra due approcc al PR, è possble dmostrare che una rete EBP addestrata nella modaltà sopra descrtta, Fgura 2. Regon d decsone n uno spazo bdmensonale e per problem d classfcazone bnar ndvduate da dverse archtetture feed-forward addestrate con l algortmo EBP [84]. ovvero mnmzzando l errore quadratco, nell ambto d un problema d classfcazone, fornsce una stma dretta delle probabltà a posteror d Bayes, [85; 86; 87; 88; 89] defnte come le propretà d avere una certa classe c avendo osservato l pattern x, ovvero P(c x) Cò, secondo Lppmann [67], offre numeros vantagg nello studo e nell applcazone delle ANN, n quanto permette d combnare le uscte d pù ret per ottenere una funzone d decsone ad un pù alto lvello, permette d compensare le dfferenze tra le probabltà delle class de pattern negl nsem d addestramento e d test, permette d usare le uscte della rete per mnmzzare una funzone d rscho alternatvo e, nfne, suggersce una msura alternatve per la valutazone delle prestazon della rete stessa. Altr stud hanno dmostrato l equvalenza tra ret EBP e approcco statstco alla classfcazone [70] e cò ha portato alla vsone d tal ANN come semplc alternatve a metod statstc classc. In realtà, le ret neural offrono numeros vantagg rspetto a metod suddett, trattandos d sstem non lnear, non parametrc e lber da modell, n grado d trattare dat non stazonar e con dstrbuzon non Gaussane [90]. Var stud condott per confrontare due approcc hanno evdenzato 29

30 la superortà delle ret EBP e, n generale, delle ANN, n termn d potere sa teorco [9; 92; 93] sa, sotto certe condzon, applcatvo [94; 95; 96; 97]. D altro canto, consderando le ANN solamente all nterno del contesto statstco s perdono d vsta alcune delle peculartà che le caratterzzano, qual le capactà d apprendere e generalzzare, che le rendono uno strumento notevolmente potente e dalle svarate applcazon. Consderando la rete come un operatore funzonale, le prme ndagn n merto alle capactà delle ANN hanno rguardato la propretà d approssmazone delle MLFF [84]. Gl stud a tal proposto hanno preso spunto dal teorema d superposzone d Kolmogorov, per la rappresentazone delle funzon multvarate attraverso la somma d funzon monovarate. Precsamente, l teorema può essere enuncato come segue [98]: Teorema d Kolmogorov. Per ogn funzone f contnua n n (n 2) n varabl nel domno [0,], f :[0,] R, esstono n(2n+) funzon unvarate contnue e monotone crescent n [0,] a partre dalle qual f può essere rcostrute secondo l equazone: 2n+ n f ( x =, x2,... x n ) φ p ψ pq ( xq ) (55) p= q= Le funzon ψ pq sono unversal per la dmensone n stablta ed ndpendent da f, dalla quale, al contraro, dpendono le funzon φ p. Soltamente entramb tp d funzon sono complesse e altamente rregolar, qund dffclmente determnabl. L estensone d tale teorema alle ret neural è stata studata da var autor, nel 988 Cybenko enuncò un teorema d approssmazone unversale drettamente applcable alle ret multstrato [32]: Teorema d Cybenko. Sa ϕ una funzone contnua monotona, non decrescente, non costante e lmtata. Dat una qualunque funzone f multvarata, defnta n nello spazo delle funzon contnue su [ 0,] e un valore ε>0, esste un nseme d costant real α, b, wj, m con =,,m e j=,,n, tale che s possa defnre la funzone F secondo l espressone seguente: m n F( x, x2,..., xn ) = α ϕ ( wj x j + b ) (56) = j= Detta funzone F è un approssmante della funzone f, secondo la condzone seguente: ( x, x,..., x F( x, x 2 2 n,..., x ) [0,] n ) n : f ( x, x 2,..., x n ) < ε Tale teorema è drettamente applcable alle ret MLFF con uno strato d ngresso non lneare e uno strato d output lneare, con le seguent assunzon: ( x, x2,..., xn ) vettore d ngresso; strato d ngresso formato da =,,m untà non lnear funzone d attvazone non lneare delle untà d ngresso che rspett le condzon del teorema, l caso tpco è quello della funzone logstca; w j e b pes n ngresso alle untà d ngresso; strato d uscta come combnazone lneare delle untà d ngresso con coeffcent α, α 2,, α m. Il teorema d approssmazone unversale è un prncpo mportante che dal punto d vsta teorco fornsce uno strumento matematco necessaro per motvare l utlzzo delle ret MLFF, con l solo strato d ngresso, come approssmator d qualunque funzone. Tuttava, esso postula solamente l esstenza d una rete n grado d effettuare l approssmazone, ed ha pertanto, lmtat rsvolt pratc, n quanto non defnsce come costrure la rete suddetta. Altre propretà fondamental delle ret neural sono 30

31 la capactà d apprendmento, che consste nell apprendere n manera adattva da dat d addestramento; la capactà d generalzzazone, che corrsponde alla capactà d rspondere correttamente n corrspondenza d pattern non vst nella fase d tranng, l che può corrspondere alla rcostruzone de pattern corrett nel caso n cu sano parzal o affett da rumore, al rconoscmento o alla classfcazone de pattern non vst n precedenza o, ancora, nella prevsone degl est futur n funzone d quanto vsto nel passato. Caratterstca fondamentale delle EBP, come d tutte le altre ret neural, è quella d modfcare propr parametr lber n manera adattva acqusendo conoscenza da dat e, qund, apprendendo un determnato compto, come la classfcazone o l approssmazone d una funzone. Tuttava, alla propretà d approssmazone unversale non corrsponde necessaramente la capactà d apprendmento: è sì vero che una rete può approssmare qualsas funzone con l accuratezza desderata, ma non è detto che la rete resca ad apprendere tale approssmazone. In tal senso, è stata svluppata una specfca teora che rguarda la capactà d apprendmento e rentra sostanzalmente nell ambto della dscplna nota come Apprendmento Automatco [7]. In tal contesto, la capactà d apprendmento (learnablt d una rete MLFF è defnta come la capactà d un algortmo d addestramento d trovare valor de parametr del modello, ovvero de pes, per fornre l accuratezza desderata nel processo d approssmazone della funzone consderata. Detta capactà è nfluenzata da vare caratterstche, qual l archtettura della rete, l algortmo d apprendmento stesso e l nseme d addestramento. In partcolare, mentre la capactà d generalzzare è legata all nformazone contenuta nel tranng set, la learnablty è connessa maggormente alla tpologa d rete e alla complesstà computazonale del problema. Purtroppo, gl unc rsultat teorc ottenut a rguardo, che sono anche sostanzalmente legat alla msura d generalzzazone della rete, sono de lmt superor alle grandezze convolte [99]: ndcato con P l numero d esemp d tranng, con n l numero d neuron dello strato d ngresso, con W l numero de pes e con ε l errore d generalzzazone desderato, vale la seguente condzone W O log ε P 2 n ε D conseguenza, può essere dmostrato che una rete MLFF con le caratterstche specfcate non può apprendere e generalzzare bene nel caso n cu le sano fornt n fase d addestramento un numero d esemp nferor al rapporto W/ε: W P Ω ε ad esempo, nel caso n cu s vogla avere un lvello d accuratezza del 90%, ovvero con ε par a 0., s devono utlzzare un numero d esemp maggore d dec volte l numero de pes della rete. Altro questone legata all apprendmento è l grado d adattabltà del sstema neurale che nfluenza la stabltà dello stesso: le due propretà possono essere nfatt nversamente proporzonal, nel senso che un elevata plastctà può andare a scapto della stabltà. Cò che c s aspetta da un sstema neurale, nfatt, è che s adatt n rsposta ad event sgnfcatv e rmanga contemporaneamente stable nel caso d event poco sgnfcatv (stablty-to-plastcty dlemma) [32]. E, nvece, possble che un sstema molto flessble che abba ncamerato gà un certo grado d conoscenza durante l allenamento perda una certa quanttà d questa nformazone al momento della presentazone d un nuovo pattern d tranng. Questo fenomeno prende l nome d nterferenza catastrofca ed è stato esplorato n var stud [77; 0; 02], che hanno evdenzato come fattor determnant possano essere l ordne d presentazone de pattern, una sovrapposzone ntrnseca degl stess e l tpo d procedura seguta durante l apprendmento. 3

32 Per quanto rguarda la propretà d generalzzazone d una rete EBP, essa consste nella capactà della stessa d estrapolare nformazone anche da un numero rdotto d pattern d addestramento. S tratta d una caratterstca comune anche ad altr sstem adattv usat nell ambto del PR, ma cò che dstngue le ANN da quest è l numero elevato d parametr che esse utlzzano. Tuttava, la capactà d generalzzazone della rete può essere compromessa nel caso n cu questa s specalzz troppo su dat d addestramento, tale fenomeno, defnto overfttng o sovraddestramento, corrsponde ad un valore molto basso dell errore sull nseme d tranng e, al contraro, ad un valore elevato dello stesso sull nseme d test. Var metod sono stat propost per rsolvere tale nconvenente [03; 04; 05], uno d quest è l cosddetto early-stoppng che consste nell utlzzo n fase d addestramento d un nseme detto d valdazone sul quale testare la capactà d generalzzazone della rete: contemporaneamente all errore d tranng vene calcolato l errore su tale nseme e se questo aumenta per un certo numero d epoche successve, s nterrompe l allenamento. In realtà, esstono delle controndcazon a tale tecnca n quanto non necessaramente l andamento dell errore sull nseme d valdazone è monotono e può, pertanto, accadere che ad un certo ncremento segua un decremento. Un nteressante osservazone è quella rportata da Detterch [06], secondo la quale l mgloramento dell algortmo d apprendmento non aumenta la capactà d generalzzazone della rete. La potenza e la semplctà d calcolo untamente alla duttltà applcatva fanno delle ret EBP una delle class d ANN maggormente utlzzate nella pratca. Le archtetture EBP generalmente utlzzate non prevedono strat nascost, graze essenzalmente alle capactà dscusse nel paragrafo precedente d tale ret. Il campo d applcazone è vasto e comprende la soluzone a task fondamental d vare dscplne come la Bonformatca, per la deduzone della struttura secondara delle protene [07]; l elaborazone de segnal, per l elmnazone del rumore [9; 08]; le prevsone delle sere temporal, n partcolare per le prevson meteorologche [09] e fnanzare [0]. Nell ambto del PR, una delle applcazon pù frequent rguarda l rconoscmento del parlato [] e de caratter manoscrtt [2; 3]. Al prmo caso appartene la famosa NETTALK, un sstema n grado d realzzare la conversone tra testo e parlato rconoscendo un mglao delle parole pù comun della lngua nglese. Il sstema è costtuto da una rete EBP con sette grupp d nod d ngresso, cascuno de qual n grado d codfcare un gruppo d lettre o smbol specal. Nell ambto della classfcazone d mmagn, un campo d partcolare dffusone è quello della Medcal Imagng: le ret EBP sono state applcate a var lvell d elaborazone, ovvero sa a lvello della formazone delle mmagn, come mostrato da Kerr e Barlett [4] nel caso della SPECT (Sngle Photon Emsson Computed Tomograph e da Yan e Mao [5] per l elmnazone d artefatt nel caso della rsonanza magnetca (MRI); sa a lvello ntermedo, ovvero per la segmentazone delle mmagn, come nel caso della MRI per la determnazon della sogla d bnarzzazone sulla base dell stogramma delle mmagn [6]; sa ad alto lvello, per la classfcazone, come nel caso della classfcazone d leson nella MRI [7], nel caso della rlevazone mcrocalcfcazon nelle mmagn mammografche, attraverso un nseme d feature sa spazal che spettral [8] o, ancora, nel caso dell ndvduazone d leson malgne al seno, attraverso un nseme d feature d tesstura dell ultrasonogramma Le Self-Organzng Map. Le Self-Organzng Maps o Mappe auto- Organzzant (SOM), dette anche Self- Organzng Features Maps, costtuscono un mportante classe d ret neural n grado d apprendere n manera autonoma, adattandos, secondo regole d plastctà snaptca, n rsposta a stmol provenent dall esterno. Il 32

33 rsultato d tale adattamento consste n una rete che mappa pattern d ngresso n pattern d uscta, n modo topologcamente coerente, preservandone l ordne e rspecchandone la dstrbuzone d probabltà. Lo svluppo delle SOM è stato sprato dalla osservazone della organzzazone topologca del cervello umano, n rfermento al tpo d stmolazone sensoral: dfferent stmol percettv, qual stmol d natura tattle, acustca o vsva, vengono presentat n manera topologcamente ordnata a dfferent mappe computazonal del cervello, cascuna delle qual ha una ben precsa localzzazone nella cortecca cerebrale e costtusce un blocco base nell nfrastruttura d processazone dell nformazone del sstema nervoso. Tale organzzazone è stata tradotta da Kohonen nel prncpo d formazone delle mappe topografche, secondo l quale la localzzazone spazale d un neurone d output n una mappa topografca corrsponde ad un partcolare domno o caratterstca de dat provenent dallo spazo degl ngress [75]. Questo prncpo ha fornto la motvazone neurobologca per lo svluppo d due dvers modell d mappe autoorganzzant: l prmo dovuto a Wllshaw e von der Malsburg per spegare l problema della corrspondenza de segnal provenent dalla retna, alla mappa vsva della cortecca cerebrale, l secondo ntrodotto da Kohonen [76] senza l obettvo d spegare dettagl neurobologc. Quest ultmo rsulta essere pù generale del precedente, n quanto è n grado d effettuare una compressone de dat, come ad esempo una rduzone dmensonale de dat d nput. Pù precsamente, l modello d Kohonen appartene alla classe degl algortm d vector-codng: offre un mappng topologco che colloca un numero fssato d vettor (code words) n uno spazo d nput sovradmensonale, permettendo, n tal modo, la compressone de dat. Questo motvo, nterpretable anche come capactà d estrarre nformazon da dat e comprendere come quest s raggruppno spontaneamente n cluster, ha fatto sì che l modello d Kohonen rcevesse maggore attenzone n letteratura. La defnzone d detto modello neurale prevede l organzzazone delle untà come nod d un unca grgla o lattce, completamente conness al vettore d ngresso e tra loro con connesson lateral, n grado d apprendere n manera non-supervsonata, attraverso un processo d competzone, cooperazone ed adattamento, a trasformare un pattern d nput d dmensone arbtrara n una mappa mono o bdmensonale, asscurando che nput vcn sano mappat n output vcn. Un esempo d archtettura bdmensonale è mostrato n Fgura 3. Fgura 3. Esempo d SOM bdmensonale La fase d addestramento d una SOM corrsponde al processo d formazone della mappa topologca durante l quale per ogn 7 vettore d ngresso x p nod della rete competono sulla base della dstanza tra x p e l vettore de pes w ad ess assocat, lungo le connesson n ngresso. Il nodo vncente k, detto best match unt (BMU), è quello che s trova a dstanza nferore e, qund, meglo approssma la proezone geometrca del vettore n ngresso nella rete. Il vettore de w k vene, dunque, modfcato n modo da specalzzare ulterormente l nodo sull ngresso appena processato. Per mantenere la coerenza topologca con lo spazo degl stmol, è prevsta una fase d cooperazone n cu vengono modfcat pes de neuron present n una zona prefssata nell ntorno del neurone vncente, detta d vcnanza topologca. In tal modo, è un ntera porzone della mappa che s sposta ad approssmare l ngresso ed è cò che dstngue x p t p,..., secondo la stessa notazone ntrodotta per le EBP 7 x p {(, ) p = P} 33

34 le SOM dalle altre ret semplcemente compettve. Complessvamente, la regola d aggornamento prevsta è la seguente: w j ( t) + η( t) h w j ( t + ) = w j ( t) kj [ x w ( t) ] j se j Nk ( t) se j N ( t) k (57) dove w j è l vettore de pes all terazone t del generco nodo j; η(t) è l parametro d apprendmento (learnng rate) che vene fatto decrescere durante l processo d addestramento n funzone dell terazone corrente e del numero massmo d pass, secondo la funzone esponenzale nversa. N k (t) è l nseme de neuron che s trovano nella zona d vcnanza topologca del nodo k d raggo ρ(t), ovvero: con d kj { j d < ρ( )} N k ( t) = kj t (58) = k j msura della dstanza tra due nod. Anche l raggo ρ(t) vene fatto decrescere nel tempo secondo un procedmento d decadmento esponenzale nel numero d pass d allenamento; h kj è, nfne, una funzone che tene conto delle dstanze all nterno della zona d ecctazone, nfluenzando la modfca de pes n manera nversamente proporzonale alla dstanza tra nod. Il rsultato dell algortmo d apprendmento delle SOM basato su tale procedmento può essere controllato vsvamente proettando nod della grgla nello spazo degl nput attraverso valor de vettor de pes. Un esempo relatvo al caso d vettor d nput bdmensonal unformemente dstrbut nell ntervallo [- ;] n entrambe le coordnate è mostrato n Fgura 4: lo stado fnale vene raggunto dalla rete dopo una fase d ulterore adattamento de vettor de pes, eseguta per meglo sntonzzarl su vettor d nput. Fgura 4. Processo d formazone d una SOM undmensonale n uno spazo degl stmol bdmensonale [32]. Come evdente dalla descrzone dell algortmo, la fase d addestramento delle SOM non prevede la mnmzzazone d nessuna funzone costo esplcta. E, però, possble valutare due dverse msure d bontà della rete una volta che questa sa stata allenata, ma anche durante l allenamento della stessa [9; 20]: l errore d quantzzazone defnto come la dstanza meda tra cascun vettore d ngresso e l BMU corrspondente: E q = P P p= x ( t) (59) p w k l errore topologco (o topografco), defnto come la proporzone d tutt vettor d ngresso per qual l prmo e l secondo neurone vncente non sono vcn tra loro: P Et = ζ ( x p ) (60) P p= dove ζ ( x p ) = se due BMU d x p non sono vcn e 0 altrment. Dell algortmo d base sono state proposte dverse varant che agscono sa sul tpo d funzon dstanza e d vcnanza topologca utlzzate nella regola d apprendmento, sa sull archtettura della rete. Le pù nteressant appartengono al secondo gruppo e sono la SOM gerarchca (Herarchcal SOM, 34