Rota Bulò Samuel

Transcript

1 Roa Bulò Samuel 79648

2 ONNUO INRODUZION 4. osa soo le re eural 4. La mee umaa 4 NURON DI MULLOH-PIS 5. Modello euroe 5. p d fuzoe d aazoe 6.. resold fuco o Heasde fuco 6.. Pecese-lear fuco 6..3 Sgmod fuco 7 3 IPI DI ARHIUR DLLA R 7 3. Re feedforard ad uo srao 8 3. Re feedforard a pù sra Re rcorre o feedbac 8 4 PROSSI DI APPRNDIMNO 8 4. Appredmeo co correzoe d errore 9 4. Appredmeo basao sulla memora Appredmeo d Hebba 4.4 Appredmeo compeo 5 AIVIÀ DI APPRNDIMNO 5. Assocazoe d paer 5. Rcooscmeo d paer 5.3 Approssmazoe d fuzo 6 SINGL LAYR PRPRON 3 6. eorema d coergeza del perceroe 3 6. Algormo d appredmeo per perceroe sempo d applcazoe: operaor boolea NO AND OR XOR 6

3 7 MULILAYR PRPRONS 6 7. Algormo d bac-propagao Neuroe d oupu Neuroe ascoso I geerale Faore d appredmeo rer d arreso 7..6 ursce per mglorare l algormo d bac-propagao 7. Geeralzzazoe 7.3 Approssmazoe d fuzo 7.4 ross-aldao Selezoe del modello Meodo d rag earl soppg Varae del cross-aldao ecce d eor prug OBS Opmal Bra Surgeo FP 7 8 NURODINAMIA 8 8. Iroduzoe 8 8. Ssem damc Spazo degl sa odzoe d Lpscz Sablà degl sa d equlbro Defzo d sablà eorema d Lapuo Araor Re d Hopfeld aso dscreo aso couo Re d Hopfeld come AM Omzzazoe rcorredo alle re d Hopfeld raellg Salesma Problem SP Mamum lque Problem MP Problem eora de goc eoluzosc 38 3

4 Iroduzoe. osa soo le re eural Soo ssem compuazoal spra a process bologc co le segue caraersce: forma da mlo d uà compuazoal euro capac d esegure ua somma pesaa; eleao umero d coesso pesae saps ra le uà; alamee parallel e o lear; ada e addesrabl e l'appredmeo aee araerso la modfca de pes delle coesso; ollera agl error quao la memorzzazoe aee modo dffuso; o c'è dszoe ra memora e area d calcolo; capacà d geeralzzazoe: producoo oupu ragoeol co pu ma cora prma durae l'appredmeo.. La mee umaa Il ssema eroso umao è u ssema a 3 sad:. ree eurale: rcee coue formazo le percepsce e fa approprae decso;. receor: coeroo gl smol eser mpuls elerc ce egoo a alla ree eurale; 3. auaor: coeroo gl mpuls elerc geera dalla ree eurale rspose al ssema esero. Fgura : dagramma a blocc del ssema eroso. La corecca celebrale è formaa da crca blo d euro e 6 rlo d saps. og euroe a elocà dell'orde de mllsecod coro aosecod de cp slco; l'effceza eergeca è d crca -6 J per operazoe per secodo coro -6 del mglore copuer uso ogg. U euroe è caraerzzao da: corpo cellulare: l'uà d calcolo soma; assoe: lea d rasmssoe usca; dedr: le zoe recee. Il euroe a l compo d fare ua somma pesaa degl gress e se l rsulao supera u cero alore sogla produce u poezale d'azoe ce ee ao all'assoe alrme o fa ulla. Il poezale d'azoe cosse ua scarca d mpuls elerc e l moo d cò è ce l'assoe è molo lugo e fe caraerzzao da ala resseza elerca e u olaggo applcao ad u esremà decade modo espoezale co la dsaza; ado ders mpuls elerc queso problema d rasmssoe ee eao. Le saps soo uà fuzoal dalla sruura elemeare ce gessce le erazo ra euro. La saps pù comue è la saps cmca ce solge le segue operazo: 4

5 u processo presapco lbera ua sosaza rasmerce ce s dffode lugo la guzoe sapca ra euro; u processo possapco azoao dalla sosaza rasmerce rgeera u segale elerco. Qud ua saps coere u segale elerco cmco della presaps e po da cmco a elerco ella possaps. soo p d saps:. eccaore: faorscoo la geerazoe d elercà el euroe possapco;. bore: bscoo la geerazoe d elercà el euroe possapco. Pare ce l'appredmeo aega araerso arazo ell'effcaca sapca d og saps. Neuroe d Mculloc-Ps. Modello euroe U euroe è l'uà d calcolo fodameale della ree eurale ed è formao da 3 eleme d base el modello eurale:. u seme d saps o coesso cascua delle qual è caraerzzaa da u peso effcaca sapca; a dffereza del modello umao l modello arfcale può aere pes sa ega ce pos;. u sommaore ce somma segal pu pesa dalle rspee saps producedo oupu ua combazoe leare degl pu; 3. ua fuzoe d aazoe per lmare l'ampezza dell'oupu d u euroe. pcamee per comodà l'ampezza degl oupu apparegoo all'erallo [] oppure [-]. Il modello euroale clude ace u alore sogla ce a l'effeo a secoda della sua posà o egaà d aumeare o dmure l'pu eo alla fuzoe d aazoe. Fgura : modello o leare d u euroe. I erm maemac descramo u euroe co le segue equazo: ϕ u b doe: soo pes sapc del euroe ; u è la combazoe leare degl pu el euroe ; b è l alore sogla del euroe ; ϕ è la fuzoe d aazoe; è l'oupu geerao dal euroe. u m 5

6 Possamo rformulare le equazo globado l alore sogla u oeedo così u modello equalee al precedee: ϕ doe l pu e b. Defamo poezale d aazoe. m Fgura 3: alro modello o leare d u euroe.. p d fuzoe d aazoe Idefcamo 3 p d fuzoe d aazoe base:.. resold fuco o Heasde fuco se ϕ se < Fgura 4: resold fuco Quesa fuzoe è usaa el modello d Mculloc-Ps... Pecese-lear fuco ϕ se se - se < < 6

7 Fgura 5: Pecese-lear fuco..3 Sgmod fuco la fuzoe pù usaa ella cosruzoe d re eural arfcal. ' ua fuzoe sreamee crescee ce esbsce u blacameo ra u comporameo leare e o leare. semp: ϕ a e doe a è u paramero ce dca la pedeza della fuzoe. Fgura 6: fuzoe logsca. I rosso a.5; ola a3; blu a. Quesa fuzoe approssma la resold fuco se a. A ole è desderable aere ua fuzoe d aazoe ell'erallo [-]. I queso caso possamo ulzzare la agee perbolca. ϕ a a doe a è u paramero d pedeza. Fgura 7: agee perbolca. I rosso a.5; ola a3; blu a. 3 p d arceure della ree Il modo co cu è sruuraa la ree dpede dall'algormo d appredmeo ce s a ezoe d usare. I geerale defcamo 3 class d re. 7

8 3. Re feedforard ad uo srao I quesa forma semplce d ree a sra abbamo od d pu pu laer e uo srao d euro oupu laer. Il segale ella ree s propaga aa modo acclco paredo dal laer d pu e ermado quello d oupu. No c soo coesso ce orao dero e emmeo coesso rasersal el laer d oupu. Fgura 8: ree forard ad uo srao. 3. Re feedforard a pù sra Quesa classe d re feedforard s dsgue dalla precedee dal fao ce ra lo srao d pu e quello d oupu abbamo uo o pù sra d euro ascos dde laers. Og srao a coesso era dal precedee srao e usce quello successo qud la propagazoe del segale aee aa seza ccl e seza coesso rasersal. Queso po d arceura forsce alla ree ua prospea globale quao aumeao le erazo ra euro. Fgura 9: ree feedforard a sra. 3.3 Re rcorre o feedbac Ua ree rcorree s dsgue dalle precede el fao ce è cclca. La preseza d ccl a u mpao profodo sulle capacà d appredmeo della ree e sulle sue performace parcolare redoo l ssema damco. Fgura : ree rcorree o feedbac. 4 Process d appredmeo L'appredmeo è u processo col quale paramer lber d ua ree eurale soo adaa araerso u processo d smolazoe all'ambee cu essa è sera. Il po d appredmeo è deermao dal modo cu ques adaame aegoo. U algormo d appredmeo è u seme d regole be defe ce rsoloo u problema d 8

9 appredmeo. U algormo d appredmeo può essere d due p:. co supersoe: c'è u segae ce coosce l'ambee ce forsce mappaure corree d pu/oupu. La ree dorà aggusare propr paramer lber modo da emulare l'segae modo sascamee omale.. seza supersoe: la ree apprede auoomamee. Vedamo alcue pologe d appredmeo. 4. Appredmeo co correzoe d errore Og euroe rcee gresso u segale d smolo e geera ua rsposa co u empo dscreo. Idcamo olre co d la rsposa desderaa. D cosegueza s geera u segale d errore e. e d Il segale d errore e aua u meccasmo d corollo co l'obeo d applcare ua sequeza d aggusame a pes sapc del euroe al fe d acare la rsposa oeua a quella desderaa. Fgura : esempo d appredmeo co correzoe d errore co ree mulsrao feedforard. Queso processo aee u passo alla ola mmzzado ua fuzoe coso: e Per fare cò s rcorre al meodo del gradee o meodo d Wdro-Hoff. Sao pes sapc del euroe ecca dall'elemeo del segale d smolo allora l'aggusameo applcao a è: Δ η e doe ηua cosae posa dea asso d appredmeo. I uo pes sarao allora: Δ L'appredmeo co correzoe d errore è u esempo d ssema rcorree la cu sablà dpede da paramer ce cosuscoo l cclo e parcolare η. La scela d queso paramero è mporae percé flueza la coergeza e la sablà del processo d appredmeo. 4. Appredmeo basao sulla memora Nell'appredmeo basao sulla memora u o mol delle passae espereze egoo arcae ua larga memora d coppe pu-oupu correamee classfcae { } d doe è l eore d pu e d è la rsposa desderaa ce seza perda d geeralà abbamo rdoo ad uo scalare. Quado errà rcesa la classfcazoe d u esempo ma corao prma es l ssema rspode roado ed aalzzado gl esemp memorzza u oro d es. u meod d appredmeo basa su memora comporao grede base: 9

10 crero usao per defre l'oro d u eore es es ; meodo d appredmeo applcao sugl esemp ell'oro d es. U esempo d queso meodo è l meodo eares egbor cu l'esempo pù co all'esempo es ' N è quello ce a dsaza eucldea mma. ' K N m { N } d ' [ d ] doe d è la dsaza eucldea. La classe ce ee assegaa ad es è la sessa d ' N. es Ua arae d queso meodo è l -eares egbor cu: l'oro dell'esempo es o è pù uo solo ma l'seme de esemp memorzza pù c; la classe assegaa è quella co la frequeza maggore ell'oro dell'esempo es. N es 4.3 Appredmeo d Hebba Posulao d Hebb sull'appredmeo: Quado u assoe d u euroe A è abbasaza co da eccare u euroe B e queso modo rpeo e perssee gl a u poezale d azoe za u processo d cresca uo o eramb euro al da cremeare l'effceza d A. Da cò possamo rcaare due regole:. se euro coess da ua saps s aao smulaeamee allora l peso della saps ee progressamee cremeao;. se euro coess s aao modo ascroo allora l peso della saps ee progressamee dmuo o elmao. Ua saps d queso po è dea saps d Hebba. Se la correlazoe de segal pora ad u cremeo dell'effcaca sapca cameremo quesa modfca ebbaa se pora ad ua rduzoe la cameremo a-ebbaa. 4.4 Appredmeo compeo o l'appredmeo compeo euro d usca d ua ree eurale compeoo ra d loro per dere a. Solo u euroe può essere ao u cero momeo. soo 3 eleme base per u meodo d appredmeo compeo:. u seme d euro ugual a meo d pes sapc geera a caso ce rspodoo maera dfferee ad u dao seme d pus;. u lme alla forza d cascu euroe; 3. u meccasmo ce permee a euro d compeere per l dro a rspodere ad u dao sooseme d pus cosccé u solo euroe o uo solo per gruppo è ao u cero momeo. Il euroe ce ce è camao er-aes-all. I queso modo euro edoo a specalzzars su u seme d pu sml deedo rcooscor d caraersce per dffere class d pus. Nella forma pù semplce la ree eurale a u solo srao d euro d usca compleamee coess a od d pu coesso forard eccaore. La ree può cludere coesso ra euro ce porao ad bzo laeral coesso feedbac bore.

11 Il euroe ce ce la compezoe è quello co pu eo pù alo per u dao pu. Il segale d oupu del euroe oroso è seao a mere quello degl alr ee seao a. Fgura : sruura d ua semplce ree d appredmeo compeo. se > alrme doe è la combazoe leare d u gl pu forard e feedbac. Sao pes sapc ra pu e euroe. Suppoamo ce og euroe abba u ammoare fsso d peso sapco dsrbuo ra od d pu: Il euroe ce ce la compezoe apprede sposado pes sapc dagl pu a agl pu a. Per fare cò s ulzza la regola sadard d appredmeo compeo: η se l euroe ce Δ alrme 5 Aà d appredmeo 5. Assocazoe d paer Ua memora assocaa è ua memora spraa al cerello dsrbua ce mpara per assocazo. Le assocazo possoo essere d due forme:. auoassocazo: ua ree eurale memorzza u seme d paer eor preseadol rpeuamee alla ree. Successamee ee preseao alla ree u paer ra quell memorzza ella ree parzale o dsoro e l'obeo è ce la ree rcam la ersoe del paer complea/orgale ce è saa precedeemee memorzzaa. L'appredmeo queso caso è geeralmee o supersoao;. eeroassocazo: og paer è assocao ad u alro paer. Sa l paer cae a cu è assocao oero l paer memorzzao. Il paer cae opera come uo smolo per rcamare l paer. Nelle auoassocazo aeamo ce mere queso caso abbamo ce. La memora assocaa s arcola fas:. fase d memorzzazoe: cu la ree ee addesraa per fare modo ce paer egao assoca;. fase d rcamo: cu s rcama dalla ree u paer memorzzao a seguo della preseazoe d ua ersoe parzale o dsora d u paer cae.

12 5. Rcooscmeo d paer Il rcooscmeo d paer è l processo cu u paer/segale ee assegao ad ua classe caegora. Ua ree eurale rcoosce paer a seguo d ua sessoe d addesrameo ella quale alla ree egoo presea rpeuamee u seme d paer d addesrameo co specfcao per oguo la caegora a cu apparegoo. Quado errà preseao u paer ma so prma ma appareee ad ua sesso caegora d paer ce a appreso la ree sarà grado d classfcarla graze alle formazo esrae da da d addesrameo. Og paer rappresea ello spazo decsoale muldmesoale u puo. Queso spazo è suddso rego ogua delle qual assocaa ad ua classe. I cof d quese rego soo deermae dalla ree araerso l processo d addesrameo. Il rcooscmeo d paer co re eural può assumere forme:. l ssema ee splao par: ua ree o supersoaa per l'esrazoe delle caraersce feaures e ua ree supersoaa per la classfcazoe. U paer è rappreseao da u puo dmesoale dello spazo de da. L'esrazoe d caraersce è ua rasformazoe ce mappa uo puo dello spazo q- dmesoale ermedaro deo spazo delle caraersce co q<m. La classfcazoe è ua rasformazoe ce mappa dal puo ua classe dello spazo r- dmesoale deo spazo decsoale co r l umero oale d class;. l ssema cosse d ua ree feedforard a pù sra sgola addesraa co u algormo d appredmeo supersoao. L'aà d esrazoe delle caraersce è u processo ero alla ree sola dagl sra ascos. Fgura 3: approcco classco alla classfcazoe d paer. 5.3 Approssmazoe d fuzo S cosder ua mappaura pu-oupu o leare descra da: d f doe è l pu e d è l oupu e sa la fuzoe f la osra coga. egoo però for u seme d esemp: { } d Voglamo creare ua ree eurale ce approssm la fuzoe f modo ce la fuzoe F ce descre la mappa pu-oupu realzzaa dalla ree è ca ad f seso eucledao per u gl pu: F f < ε doe ε è u umero poso pccolo. Maggor soo le dmeso e paramer lber della ree more sarà ε. Il problema dell'approssmazoe d fuzo è u caddao perfeo per l'appredmeo supersoao co l eore d pu e d la rsposa desderaa.

13 6 Sgle Laer Percepro Il perceroe è la forma pù semplce d ree eurale usaa per classfcare paer learmee separabl oero paer ce sao a la oppos d u perpao. sso cosse d u sgolo euroe co pes spc e sogla modfcabl. D seguo ee proposo l'algormo d appredmeo cooscuo come algormo d coergeza del perceroe. Rosebla dmosrò ce se paers scel per addesrare la ree apparegoo a class learmee separae allora l'algormo d appredmeo coerge e lo spazo decsoale ee dso da u perpao. Queso eorema è camao eorema d coergeza del perceroe. 6. eorema d coergeza del perceroe Affcé l perceroe fuzo correamee è ecessaro ce lo spazo decsoale sa formao da class e separae learmee da u perpao. Sao X e X gl sem forma dagl pu d addesrameo ce apparegoo rspeamee alle class e e la cu uoe forma l'ero seme d addesrameo X. Assumamo seza perda d geeralà ce la fuzoe d aazoe ϕsg fuzoe sego modo ce: > se X se X ma dal momeo ce e ao lo sesso sego possamo meere al poso d. Qud poso u eore d pes ce classfca correamee gl X sarà correa la seguee relazoe: > X X L'algormo d appredmeo può essere formulao el seguee modo:. Se l'-esmo elemeo d X è classfcao correamee dal eore de pes allora o egoo fae correzo al eore qud ;. Alrme l eore ee aggorao el seguee modo: η X η X doe l faore d appredmeo η corolla le modfce applcae a pes all'-esma erazoe. Se ηη> co η ua cosae dpedee dal umero d erazo allora abbamo l meodo fed creme adapao per l perceroe. Nel seguo errà dmosraa la coergeza dell'appredmeo co meodo fed creme adapao rule co η. Sa. Suppoamo < per... e X oero l perceroe classfca modo errao eor d pu... La regola d aggorameo de pes per queso caso è la seguee: X Dal momeo ce abbamo ce: Sa ua soluzoe ce classfca correamee gl e defamo come: 3

14 m X α doe α> dal momeo ce la classfcazoe è correa co eore de pes e X. Possamo dedurre ce: α Ulzzamo a queso puo la dsuguaglaza d auc-scarz e scramo: [ ] α qud α Faccamo ora quese alre cosderazo. Rscramo la regola d aggorameo applcado la orma quadraa eucledaa ad eramb la oeedo: Ora abbamo presupposo ce l perceroe classfca modo errao gl pu co... qud e d cosegueza: < β doe β> è defo come: ma X β Qud l peso aggorao è lmao superormee ed ferormee e d cosegueza esse u umero massmo d erazo ma ale per cu: β α ma ma da cu rcaamo ma : ma α β Qud abbamo dmosrao ce se X e X soo due sem learmee separabl l perceroe coerge co al massmo ma erazo ulzzado l meodo fed creme adapao. Nel caso d η arable cosderamo η come l pù pccolo ero per cu: > η aremo ce se all'erazoe a u sego errao se rpreseamo lo sesso pu all'erazoe successa aremo ce l sego dea correo fa:. se e X abbamo: > η. se e X > abbamo: < η I alre parole og paer ee preseao pù ole d seguo fcé o ee classfcao correamee. 6. Algormo d appredmeo per perceroe. Izalzzoe: s sea ed ; 4

15 . Aazoe: al empo s aa l perceroe applcado l'pu e la rsposa desderaa d; 3. alcolo dell oupu: s calcola l'oupu secodo la sequee formula: sg se > doe sg è la fuzoe sego defa come: sg se 4. Aggorameo de pes: s aggorao pes secodo la seguee formula: η d [ ] se X doe d se X 5. ouazoe: s cremea e s ora a. Il processo erma quado s è gu ad uo sep ale per cu... oero fcé u paer soo classfca correamee seza modfce a pes. Il paramero d appredmeo è ua cosae reale posa lmaa all'erallo ] eedo coo d quese cosderazo: pù pccola è η pù s ee cosderazoe l peso passao garaedo sme sabl a scapo della elocà d coergeza; pù è grade e maggore è la elocà d coergeza. 6.3 sempo d applcazoe: operaor boolea Abbamo so ce l perceroe è grado d classfcare pu ce soo learmee separabl. Possamo cosrure percero ce rsoloo l'and l'or l NO ma o possamo cosrure u perceroe ce rsole lo XOR NO 6.3. AND Fgura 4: perceroe per operaore NO Fgura 5: perceroe per operaore AND 5

16 6.3.3 OR Fgura 6: perceroe per operaore OR XOR No è learmee separable fa possamo edere dalla fgura ce ecessamo d ree per separare le class. Fgura 7: No separablà leare dell'operaore XOR 7 Mullaer Percepros La ree cosse u seme d gress pu laer uo o pù sra ascos d euro dde laers e u seme d euro d usca oupu laer. Il segale d pu s propaga araerso la ree aa da laer a laer. Ua ree d queso po a 3 caraersce dse: og euroe clude ua fuzoe d aazoe o leare dfferezable ad es: fuzoe sgmodale; la ree coee ua o pù sra ascos dde laers ce o fao pare é dell'pu é dell'oupu della ree; la ree a u ala coeà. U meodo effcee per l'addesrameo della ree è quello del bac-propagao. I quesa ree roamo p d segal: Fgura 8: mullaer percepros 6

17 . segal d fuzoe: u segale d fuzoe è u segale d pu o smolo ce era el laer d pu s propaga aa araerso laer ascos per emergere al laer d usca come segale d oupu;. segale d errore: u segale d errore a orge el laer d usca e s propaga all'dero araerso la ree. Og euroe ascoso o d'usca d u mullaer percepro esegue compuazo:. la compuazoe del segale d fuzoe espressa come fuzoe o leare coua d u segale d pu e de pes sapc assoca al euroe;. la compuazoe d u eore gradee ecessaro per aggorameo de pes sapc. 7. Algormo d bac-propagao Dsguamo cas:. euroe del laer d oupu;. euroe d u dde laer; 7.. Neuroe d oupu Il segale d'errore del euroe d oupu all'erazoe preseazoe dell'-esmo esempo del rag se è defo da e d doe d è l oupu aeso del euroe ; è l oupu del euroe. L'errore oale dell'oupu laer preseado l'-esmo esempo del rag se è defo come e doe è l'seme de euro ce formao l'oupu laer. Sa N l umero oale d paers coeu el rag se. L'errore quadrao medo rappresea la fuzoe coso ed è dao da N AV N L'obeo dell'addesrameo è quello d mmzzare a aggusado opporuamee paramer lber della ree eurale. osdereremo u meodo semplce ce aggora pes d paer paer fo al raggugmeo d u'epoca. U epoca è ua preseazoe complea dell'ero rag se. L'aggusameo de pes ee fao base all'errore calcolao per og paer preseao alla ree. La meda armeca d quese arazo d peso su paer sgol del rag se soo ua sma della arazoe reale ce rsulerebbe da modfce d peso ce mmzzo la fuzoe coso a sull'ero rag se. Per mmzzare la fuzoe coso s adoa l meodo della dscesa del gradee. Nel osro caso l gradee è dao da e gl aggorame d peso aegoo erso opposo al gradee. 7

18 Δ η doe η è l faore d appredmeo. alcolamo l gradee: e e applcado la regola della caea abbamo ce l gradee è par al prodoo d 4 derae parzal. alcolamo cascua deraa: e e e e doe dal momeo ce cosderamo u euroe d oupu abbamo ce. d e [ ] [ ] ' ϕ ϕ m Da cu rcaamo ce doe ee defo gradee locale ed equale a: [ ] ' e e e ϕ Qud la arazoe d peso sapco ra l euroe e relao all'-esmo esempo del rag se è la seguee: Δ η 7.. Neuroe ascoso Quado l euroe apparee ad uo srao ascoso o abbamo ua specfca rsposa desderaa. Il segale d errore dee essere deermao rcorsamee dal segale d errore d u euro a qual queso euroe ascoso è coesso. seguamo calcol cosderado l odo appareee all'ulmo srao ascoso. Rdefamo a queso proposo l gradee locale come [ ] ' ϕ alcolamo la deraa: [ ] ' e e e e ϕ doe raados d u euroe ascoso. A queso puo abbamo ce [ ] ' e ϕ e qud: 8

19 Abbamo supposo ce fosse collegao a euro d oupu ma geerale quesa formula ale ace se fosse collegao ad u alro srao ascoso. I queso caso però la sommaora o è esesa a euro d usca ma a euro dello srao successo. Per fare queso possamo cosderare la sommaora esesa a u euro percé se o è adacee a ; qud geerale: A queso puo l gradee locale del euroe ascoso relao all'-esmo esempo del rag se è ϕ' [ ] 7..3 I geerale I geerale la arazoe d peso sapco ra l euroe e relao all'-esmo esempo del rag se è dao da: Δ η [ ] e ϕ' se è u euroe d oupu doe ϕ '[ ] alrme Queso modello prede l ome d appredmeo o-le quao la ree apprede u esempo alla ola. sse però u alro modello deo off-le o bac ce cosdera u gl esemp del rag se alla ola ace se queso è meo coeree al modello bologco. Per l'appredmeo off-le abbamo la seguee fuzoe coso: e da cu dera la seguee regola d appredmeo: Δ η 7..4 Faore d appredmeo La scela del faore d appredmeo flueza molo l comporameo dell'algormo fa se sceglamo alor roppo pccol la coergeza sarà lea mere se sceglamo alor roppo grad s rsca d aere ua ree sable co comporameo oscllaoro. U meodo semplce per cremeare l faore d appredmeo seza l rsco d redere la ree sable è quello d modfcare la regola d aggorameo seredo l momeo. Δ α Δ η doe α è u umero poso. Se espadamo rcorsamee la formula oeamo Δ η α rcordado ce abbamo Δ η α ce coerge per alor d [. Iolre se la deraa parzale ede a maeere lo sesso sego su erazo cosecue graze alla sommaora l'aggorameo sarà per alor pù amp e qud ede ad accelerare elle dscese. Se però la deraa a seg oppos ad erazo cosecue la 9

20 sommaora ede a dmure l'ampezza dell'aggorameo facedo modo d aere u effeo sablzzae quado abbamo oscllazo. Olre a queso l'uso del momeo a l aaggo d preere ce l processo d appredmeo capp mm local della fuzoe d'errore rer d arreso No essoo crer d'arreso be def; e camo 3.. L'algormo d bac-propagao può essere erroo quado è elle caze d u mmo locale oero quado la orma eucledaa del eore gradee è ferore d ua sogla suffceemee pccola.. L'algormo d bac-propagao può essere erroo quado la perceuale d arazoe dell'errore quadrao medo ra due epoce cosecue è suffceemee pccola. 3. L'algormo d bac-propagao può essere erroo quado la capacà d geeralzzazoe è adeguaa. Per l erzo puo edamo pù aa el deaglo come s sma la capacà d geeralzzazoe d ua ree ursce per mglorare l algormo d bac-propagao Vedamo alcue regole ce coseoo d mglorare le presazo dell'algormo d bacpropagao: Se abbamo u rag se grade e alamee rdodae è cosglao l'uso del meodo d bacpropagao ole. Og paer scelo da preseare alla ree dorebbe massmzzare l coeuo formao oero essere radcalmee dfferee dagl esemp usa precedeemee e geerale porare la ree a sbaglare. I queso modo preseamo alla ree u rag se ce cerca d coprre modo compleo lo spazo degl pu. Se la ree ee addesraa co ua fuzoe d aazoe asmmerca quesa apprede pù elocemee. Ua fuzoe è asmmerca se ϕ ϕ. U esempo e è la agee perbolca defa come: ϕ a a b doe a b soo cosa. Buo alor per le due cosa soo: a.759; b 3. ' mporae ce la rsposa desderaa ega scela all'ero del codomo della fuzoe d aazoe percé alrme l'algormo ede a porare paramer lber della ree a fo. Og eore d pu dorebbe ere preprocessao modo ce la meda calcolaa sull'ero rag se eda a o alrme sa pccola se comparao co la sua deazoe sadard. Se suppoamo eor d pu co compoe pose aremo ce pes del prmo laer ascoso s cremeao/decremeao seme. Se l eore de pes d u euroe dee cambare drezoe lo può fare solo zgzagado araerso la superfce dell'errore cosa ce pcamee è lea e qud a eaa. Queso o può accadere se gl pu egoo ormalzza come precedeemee deo. Uleror ormalzzazo ce possoo essere fae soo la scorrelazoe delle arabl d pu segua da ua scalaura modo ce le loro coaraze sao approssmaamee ugual. I queso modo c s asscura ce ders pes sapc della ree appredao approssmaamee alla sessa elocà. Se zalzzamo pes sapc co alor grad aremo ce la ree guge alla saurazoe; se cò accade l gradee locale assumerebbe alor pccol ce ralleerebbero l processo d appredmeo. Se ceersa pes fossero roppo pccol l'algormo s roerebbe a doer operare su ua area molo paa aoro all'orge della superfce d'errore e sforuaamee l'orge è u puo sazoaro é d mmo é d massmo.

21 Vedamo allora come zalzzare la ree facedo le segue cosderazo. Suppoamo d aere ua ree co fuzoe d aazoe la agee perbolca e co alore sogla seaa a qud. sprmamo l'pu eo d u euroe come: m doe m è l umero d euro della ree. Suppoamo olre ce : o la meda degl -esm compoe dell'pu d cascu euroe sa ulla e la loro araza sa uara: μ σ [ ] [ μ ] [ ] o gl pu sao o correla co gl alr pu e co pes sapc e poamo: se [ ] se o pes sao scel da u seme uformemee dsrbuo co meda zero μ e araza [ ] [ ] [ ] σ μ Defamo a queso puo la meda e la araza dell pu eo. m m μ [ ] [ ] [ ] [ ] doe [ ] [ ] [ ] quao scorrela. m m σ [ μ ] [ ] [ ] m m m [ ] [ ] [ ] m σ doe [ ] [ ] [ ] quao pes e gl pu soo scorrela. Ora oglamo ce la deazoe sadard dell'pu eo sa ella zoa d rasazoe ra l'area leare e quella saura della fuzoe d aazoe. Poamo qud σ qud abbamo ce m σ σ m Azcé edere m come l umero d euro cosderamolo come umero d coesso sapce della ree. Qud è desderable ce pes sapc sao scel da ua dsrbuzoe uforme ce abba meda zero e araza par al recproco del umero d coesso space della ree eurale. 7. Geeralzzazoe Ua ree eurale geeralzza bee se la mappa pu/oupu ce geera la ree è correa o quas per esemp d es ma presea alla ree fase d rag. S assume ce gl esemp d es sao ra dalla sessa popolazoe usaa per geerare l rag se.

22 Il problema d appredmeo può essere so come u problema d approssmazoe d ua cura. La ree d per sé può essere cosderaa semplcemee ua mappa pu/oupu o leare qud ua buoa geeralzzazoe può essere sa come ua buoa erpolazoe de da d pu. Ua ree progeaa per geeralzzare bee produce mappaure pu/oupu corree ace se l pu è leemee dfferee dagl esemp usa fase d rag; se però la ree ee addesra co ropp esemp la ree rsca d memorzzare l rag se. Queso feomeo è deo oerfg o oerrag. Ua ree sora-addesraa perde la capacà d geeralzzazoe. Fgura 9: sempo d buoa geeralzzazoe a e d ua caa geeralzzazoe oerfed b La geeralzzazoe è fluezaa da 3 faor:. le dmeso del rag se;. l arceura della ree eurale; 3. la complessà del problema. Alla luce del fao ce o abbamo corollo sul puo 3 possamo edere l problema della geeralzzazoe da pu d sa:. l arceura della ree è prefssaa e lo scopo è deermare ua dmesoe del rag se omale per ua buoa geeralzzazoe;. la dmesoe del rag se è prefssaa e lo scopo è d deermare la mglore arceura d ree per ua buoa geeralzzazoe. Vedamo u eursca per l puo. Nella praca s è so ce s a ua buoa geeralzzazoe se la dmesoe del rag se N soddsfa la codzoe W N O ε doe W è l umero oale d paramer lber ella ree e ε deoa la frazoe d error d classfcazoe permess su da d es. 7.3 Approssmazoe d fuzo U perceroe mullaer addesrao co bac-propagao può essere so come u approssmaore d fuzo uersale. eorema dell approssmazoe uersale: sa ϕ ua fuzoe coua o cosae lmaa e moooa crescee. Sa u percubo uaro m m. Lo spazo delle fuzo I -dmesoale [ ] m

23 coue su m lo deoamo co I m I m e ε> esse u ero m e sem d cosa real α β e doe m e m ale ce possamo defre m m F K m α ϕ b come ua realzzazoe approssmaa della fuzoe f; oero F K f K < per og I. Allora da ua qualuque fuzoe f K m ε m m ce gace ello spazo d pu. Il eorema è u eorema d esseza percé o c dce come calcolare l seme d cosa ecessar a creare F. Il eorema dce qud ce uo srao ascoso è suffcee ad u perceroe mullaer per ua ε- approssmazoe d u geerco rag se rappreseao dall seme d pus K e oupus desdera f K. m m 7.4 ross-aldao Vedamo ora uo srumeo per rsolere l problema della selezoe dell arceura della ree eurale; pù precsamee queso srumeo cosee dao u seme d possbl modell d sceglere quello mglore secodo cer crer. Izalmee l se d da ee rparo modo radom u rag se e u es se. Il rag se è ulerormee rparo sem dsgu: smao subse: usao per l rag del modello; Valdao subse: usao per aldare l modello. La moazoe è quella d aldare l modello su u se d da derso da quello usao per l addesrameo. I queso modo possamo usare l rag se per smare le presazo de ar modell cadda e sceglere qud l mglore. è comuque la possblà ce l modello pù performae realà è cappao u oerfg del aldao se. Per eare queso s rcorre al es se per erfcare la capacà d geeralzzazoe della ree Selezoe del modello Il problema della selezoe del modello è essezalmee quello d sceglere l perceroe co l mglor alore d W l umero d paramer lber. Pù precsamee poso ce la rposa desderaa relaa ad u pu sa d{} defamo l errore d geeralzzazoe come ε g F P F d X Suppoamo d aere a dsposzoe l seguee rag se s { } N d L obeo è d selezoare la parcolare fuzoe F ce mmzza l errore d geeralzzazoe ce rsula preseado alla ree pus dal es se. Per og dmesoe del es se N possamo sempre roare u perceroe mullaer co u umero suffcee d paramer lber W ma N ale per cu l rag se S è erpolao adeguaamee. amamo W ma N fg umber. Ua procedura ragoeole d selezoe del modello sceglerebbe ua fuzoe F ce rcede W W ma N. 3

24 Sa r [] u paramero ce deerma l parzoameo d S ell esmao subse e aldao subse. L esmao subse deoao co S è usao per addesrare ua sequeza d percero mullaer d complessà crescee co u umero d paramer lber W Wma [ r N ]. L uso del cross-aldao pora alla scela '' Fc m { e F } K doe corrspode a W Wma [ r N ] e e '' F è l errore d classfcazoe prodoo da F se esao sul aldao subse S cossee r N esemp. Il problema ce c poamo ora è come deermare l paramero r. Idefcamo derse propreà qualae del alore omo d r: se la complessà della fuzoe arge è pccola comparaa co l umero d esemp N la presazoe del cross-aldao o è fluezaa dalla scela d r; se la complessà della fuzoe arge è maggore comparaa col umero d esemp N la scela d r a u effeo proucao sulle presazo del cross-aldao; u alore d r fsso opera quas maera omale per u largo umero d fuzo arge complesse. U alore fsso d r ce rsula essere buoo è. oero 8% esmao subse % aldao subse Meodo d rag earl soppg o l obeo d ua buoa geeralzzazoe è molo dffcle decdere quado è l momeo d bloccare l rag. è l rsco d oerfg de da d rag se o s ferma l addesrameo al puo guso. Possamo eare l feomeo dell oerfg rcorredo al meodo d cross-aldao; l esmao se ee usao per addesrare la ree e l aldao se sere a esarla dopo og epoca. Pù precsamee l processo procede el seguee modo: dopo u perodo d addesrameo sull esmao se s calcola l errore d aldazoe per og esempo del aldao se; quado la fase d aldazoe è complea s rprede la fase d addesrameo per u alro perodo. Fgura : meodo dell' "earl-soppg" basao sul cross-aldao Se guardamo la sola cura dell errore quadrao medo dell esmao se queso s rduce all aumeare delle epoce e errebbe aurale pesare d esegure l rag ace olre l puo d 4

25 mmo della cura del aldao se. I realà però cò ce la ree apprede dopo quel puo è l rumore coeuo e da dell esmao se. Quesa eursca suggersce qud d fermare l addesrameo corrspodeza del mmo della cura relaa al aldao se. Ua eora sasca sul feomeo dell oerfg mee guarda dall ulzzo del meodo dell earl soppg. Vegoo ds cas dpede dalla dmesoe del rag se: modalà o asoca: N<W doe N è la dmesoe del rag se e W è l umero d paramer lber. L ulzzo dell earl soppg mglora la capacà d geeralzzazoe rspeo al rag esauso. L oerfg porebbe erfcars quado N < 3 W e c soo aagg prac ad usare l cross-aldao per bloccare l rag. Il alore omo per l paramero r è defo da: W r op W Per alor grad d W quesa formula s approssma a r op W modalà asoca: N > 3W. I mglorame ella capacà d geeralzzazoe soo scars rspeo al rag esauso alre parole l rag esauso è soddsfacee se la dmesoe del rag se è eleaa se comparaa col umero d paramer lber Varae del cross-aldao Quado la dmesoe del se d da è pccola s può rcorrere al mulfold cross-aldao ddedo l se d N esemp K soosem K>. Il modello ee po addesrao su og sooseme ad eccezoe d uo; ques ulmo formerà l aldao se. Quesa procedura ee rpeua K ole ulzzado per l aldao se a uro uo de K soosem. Le presazo del modello egoo msurae facedo la meda degl error quadra sul aldao se per ogua delle K rpezo. Lo saaggo d quesa ecca è ce rcede mola compuazoe dal momeo ce l modello dee essere addesrao K ole. Quado l umero d esemp è pccolo s può rcorrere ad ua forma esrema d quesa ecca dea leae-oe-ou cu KN. 7.5 ecce d eor prug Le ecce d eor prug ao lo scopo d mmzzare le dmeso della ree maeedo buoe presazo. Ua ree pù pccola o a la edeza ad appredere l rumore e da e geeralzza meglo d da uo. Possamo raggugere queso obeo mod:. Neor grog: doe paramo da u perceroe mullaer pccolo e lo espadamo;. Neor prug: doe paramo da u perceroe mullaer suffceemee grade per po rdurre la ree elmado coesso sapce o euro er. Aalzzeremo ecce relae al puo OBS Opmal Bra Surgeo Ulzzamo l formazoe della deraa secoda della superfce dell errore per predre gl effe dou a perurbazo e pes sapc della ree. L approssmazoe locale della fuzoe coso a el puo usado u espasoe d alor fo al secodo orde è daa da 5

26 Δ Δ Δ Δ H g a a doe Δ è la perurbazoe applcaa al puo l eore d pes sapc della ree g è l eore gradee aluao el puo e fe H è l essao aluao el puo. Lo scopo è quello d roare u seme d paramer la cu elmazoe dal perceroe mullaer caus l mor cremeo ella fuzoe coso. Per rsolere l problema roducamo delle approssmazo:. assumamo ce l eore de pes sa l rsulao d ua fase d rag complea e corrspoda qud ad u mmo locale o globale sulla superfce dell errore. Qud l gradee è ullo quel puo e qud lo è ace l erme ; Δ g. assumamo ce la superfce dell errore aoro ad u mmo locale abba crca u adameo quadraco modo da poer gusfcare l espasoe d alor fo al secodo orde. Soo quese assuzo abbamo ce Δ Δ Δ Δ H a a a L obeo del OBS è d seare u peso sapco a e mmzzare l cremeo prodoo ella fuzoe coso. Sa queso parcolare peso la cu elmazoe corrspode alla codzoe Δ oppure Δ doe è u eore d u rae l -esma compoee ce ale. Dobbamo a queso puo rsolere u problema d mmo colao. Per queso rcorramo al Lagragao: H S Δ Δ Δ λ doe λ è l molplcaore d Lagrage. Per roare l alore d Δ dobbamo rsolere l seguee ssema: dλ ds S H Δ Δ λ H H Δ λ λ a queso puo abbamo ce [ ] H H oero l elemeo poszoe dell essao erso [ ] [ ] H H H Δ λ e l corrspodee alore omo della Lagragaa S per l elemeo è [ ] [ ] [ ] [ ] H H H H H H H S Δ Δ a queso puo abbamo ce [ ] [ ] { } [ ] H H H e qud [ ] H S 6

27 Il Lagragao S è deo salec mporaza d oero l cremeo d errore quadraco medo rsulao dall elmazoe del peso. Il peso ce a la pù pccola salec è quello ce errà elmao. La complessà del meodo è pes della ree. O M doe M è la cardalà del rag se e è l umero d 7.5. FP A dffereza del meodo OBS è u meodo ce agsce localmee al euroe d cu s uole elmare u peso sapco. Suppoamo d aere ua ree addesraa co uo srao dde e suppoamo d oler elmare l peso ce esce dal euroe ed era el euroe. L dea del meodo è quella d rmuoere la coessoe sapca e aggusare rmae pes modo ale da maeere alerao l pu eo del euroe. Defamo R l campo receo del euroe oero l seme d euro co coessoe erae. L pu eo del euroe a seguo della preseazoe alla ree d u geerco paer μ prma della rmozoe del peso è dao da μ μ R Voglamo a queso puo ce l pu eo del euroe dopo la rmozoe del peso sa uguale a μ perurbado opporuamee pes sapc μ μ μ Δ η s R R /{ } doe s dca l rag se. A queso puo possamo roare alor delle perurbazo rsoledo l seguee ssema μ μ Δ R μ R /{ } R /{ } Δ Possamo rscrerlo forma compaa poedo: z doe è u eore coloa ce a come -esma compoee co μ l esmo paer del rag se; Δ eore coloa de pes sapc era ell -esmo euroe escluso marce ce a come -esma compoee co μ l -esmo paer del rag se Y doe escludamo però l caso. μ μ Y Δ z Queso ssema può essere rsolo a mm quadra coè roado l eore z Y Δ Δ ; ce mmzza oppure rcorredo a meod d rduzoe de resdu ce paroo da u alore zale e calcolao l resduo co la formula r A b qud roao u uoo alore ale per cu r <r. Alrme s può rcorrere a ua soluzoe eursca ce cerca semplcemee l euroe ale per cu lo scaro r è mmo l quale scegledo ale r z. 7

28 Qud l algormo o fa alro ce sceglere la coessoe ce mmzza r suppoamo ce er el euroe la elma aggusa pes rmae era e era l procedmeo fcé o s raggugoo le presazo desderae La complessà del meodo è O M r co M la cardalà del rag se e r l umero d coesso era el euroe. Ua arae del meodo può essere quella d rmuoere euro er basa fare modo ce gl pu e era ello srao successo o cambo. 8 Neurodamca 8. Iroduzoe U modo mplco per rodurre ua ree eurale la arable empo è medae l ulzzo d re co feedbac o rcorre. soo mod per redere rcorree ua ree:. roducedo feedbac locale ce eressa solamee l sgolo euroe;. roducedo feedbac globale ce eressa l era ree. Porremo l aezoe sulle re d po. Lo sudo delle re eural se come ssem damc o lear co parcolare aezoe al problema della loro sablà è camao eurodamca. Nel coeso de ssem damc o lear quado parlamo d sablà c rferamo alla sablà sa seso d Lapuao edremo seguo d cosa s raa. Lo sudo della eurodamca segue due srade a secoda dell eresse applcao:. eurodamca deermsca: ella quale la ree eurale a u comporameo deermsco ed è descro araerso u seme d equazo dfferezal o lear;. eurodamca sasca: ella quale la ree eurale è perurbaa dalla preseza d rumore e l ssema è descro da u seme d equazo dfferezal o lear socasce. 8. Ssem damc U modello maemaco per descrere le damce d u ssema o leare è quello dello spazo degl sa. o queso modello pesamo erm d arabl d sao cu alor ad u cero sae emporale soo cosdera suffce a predre la fuura eoluzoe del ssema. Sa { N } u eore coeee le arabl d sao d u ssema damco o leare deo eore d sao cu la arable dpedee è l empo e N è l orde del ssema. Possamo allora descrere u largo umero d ssem damc o lear medae u ssema d equazo dfferezal d prmo orde scre come segue: d F d doe F è ua fuzoe eore ce se applcaa ad u eore rora u eore ce a come - esma compoee F co F ua qualce fuzoe. U ssema cu la fuzoe eore F o dpede esplcamee dal empo è deo auoomo alrme è o auoomo. No raeremo solo ssem auoom. Possamo defre u ssema damco u ssema l cu sao ara el empo. 8

29 d Iolre possamo pesare al eore come ad u eore d elocà. d 8.. Spazo degl sa d Possamo edere l equazoe dello spazo degl sa F come u descrore del d momeo d u puo ello spazo degl sa N-dmesoale; queso puo o è alro ce lo sao del ssema osserao ad u cero sae. o lo scorrere del empo l puo descre ua cura ello spazo degl sa dea raeora o orba del ssema. La elocà saaea della raeora è rappreseaa da u eore agee; possamo qud derare u eore d elocà per og puo della raeora. La famgla delle raeore per dffere codzo zal è camao rrao degl sa del ssema e comprede u que pu per cu F è defa; el caso d ssem auoom per og puo dello spazo esse ua sola raeora ce passa. Fgura : u rrao degl sa -dmesoale d u ssema damco 8.. odzoe d Lpscz Affcé l equazoe dello spazo degl sa abba soluzoe e quesa sa uca dobbamo mporre alcue resrzo sul eore F. odzoe suffcee affcé sa soluzoe è ce F sa coua u suo argome; uaa quesa codzoe o garasce l ucà della soluzoe. Dobbamo qud rodurre ua resrzoe aggua cooscua come codzoe d Lpscz. Sa la orma eucledaa del eore. Sao e u ua coppa d eor d u seme apero M uo spazo eorale degl sa. Allora base alla codzoe d Lpscz esse ua cosae K ale ce F F u K u per og u e M. Ua fuzoe eore F ce soddsfa la codzoe è dea Lpscz e K è dea cosae d Lpscz per F. La codzoe d Lpscz garasce l esseza e l ucà della soluzoe per l equazoe dello spazo degl sa. I parcolare se ue le derae parzal F soo fe ouque allora la fuzoe F soddsfa la codzoe d Lpscz. 8.3 Sablà degl sa d equlbro U eore cosae codzoe: M è deo sao d equlbro sazoaro se è soddsfaa la seguee 9

30 F doe è l eore ullo. Il eore elocà s aulla el puo d equlbro e qud è ua soluzoe dell equazoe dello spazo degl sa. Lo sao d equlbro è ace deo puo sgolare e la raeora degeera el puo sesso Defzo d sablà Defzoe : Lo sao d equlbro è deo uformemee sable se per og ε poso esse u poso ale ce la codzoe mplca per og >. Quesa defzoe afferma ce ua raeora del ssema può essere faa sare u pccolo oro dello sao d equlbro se l suo sao zale è co a. Defzoe : Lo sao d equlbro è deo coergee se esse u poso ale ce la codzoe mplca ce < < ε < l m Quesa secoda defzoe afferma ce se lo sao zale d ua raeora è adeguaamee co allo sao d equlbro allora la raeora descra dal eore d sao coergerà a all aumeare del empo. Defzoe 3: Lo sao d equlbro è deo asocamee sable se è sable e coergee. Defzoe 4: Lo sao d equlbro è deo globalmee asocamee sable se è sable e ue le raeore del ssema coergoo a per ce ede ad fo eorema d Lapuo eorema : Lo sao d equlbro è sable se u pccolo oro d esse ua fuzoe defa posa V ale ce la sua deraa rpeo al empo è more o uguale a quella regoe. eorema : Lo sao d equlbro è asocamee sable se u pccolo oro d esse ua fuzoe defa posa V ale ce la sua deraa rspeo al empo sreamee more d quella regoe. Ua fuzoe scalare V ce soddsfa quese propreà è dea fuzoe d Lapuo per lo sao d equlbro. La fuzoe V è defa posa ello spazo degl sa L se L soddsfa le segue propreà:. la fuzoe V a derae parzal rspeo agl eleme d coue;. V ; 3

31 3. V> se. Supposa V ua fuzoe d Lapuo lo sao d equlbro è sable se d V d se < ε co ε u umero poso pccolo. Lo sao d equlbro è asocamee sable se d V < d se < ε Il eorema o da dcazoe su come roare ua fuzoe d Lapuo e la sua esseza è suffcee ma o ecessara per la sablà. 8.4 Araor Lo spazo degl sa d ssem damc o lear soo caraerzza dalla preseza d araor. Ques possoo essere pu o orbe perodce ccl a cu le ce raeore edoo all aumeare del empo. Gl araor rappreseao gl uc sa d equlbro d u ssema damco osserabl spermealmee. Faccamo oare ce uo sao d equlbro o mplca u equlbro saco e è proa l fao ce possoo esserc ccl cu lo sao ara el empo. U araore è raccuso ua regoe dsa dea baco d arazoe e qualuque raeora abba come sao zale u puo del baco d arazoe ede all araore ce queso coee. Fgura : esemp d araor puual e cclc. 8.5 Re d Hopfeld Le re d Hopfeld soo: re rcorre ad uo srao cu og euroe è coesso a u gl alr soo asse coesso co sé sesso; smmerce: percé ao la marce de pes sapc smmerca qud ; o lear: og euroe a ua fuzoe d aazoe o leare erble. Possamo dsguere derse ecce d aggorameo dello sao de euro: aggorameo ascroo: cu s aggora u euroe alla ola; aggorameo scroo: u euro egoo aggora allo sesso sae; aggorameo couo: cu u euro s aggorao couamee. 3

32 Vedremo olre le re d Hopfeld el caso dscreo co aggorameo ascroo e el caso couo co aggorameo couo aso dscreo Nel caso dscreo s usao euro d Mculloc-Ps cu però l pu eo del geerco euroe è dao da I doe è lo sao del euroe e I è ua corree esera pu esero applcaa al euroe. Se I abbamo l radzoale euroe d Mculloc-Ps. Og euroe aggora l propro sao modo ascroo el seguee modo > < se se se Abbamo deo la marce de pes dee essere smmerca percé quesa è ua codzoe suffcee alla coergeza quel caso fa l ssema a ua fuzoe d eerga d Lapuo ce ee mmzzaa co l eolere del processo. Iolre abbamo deo ce o c deoo essere auoloop qud seamo La fuzoe quadraca d eerga è la seguee: I W doe è l eore d sao del ssema W è la marce smmerca de pes co gl eleme dagoal ull e I e l eore d pu esero. Possamo erfcare ce la fuzoe è sreamee moooa decrescee erfcado ce < Δ Abbamo deo ce euro s aggorao modo ascroo qud suppoamo sa l euroe ce a cambao sao allora: I I Δ ora dal momeo ce è l uco sao ce è cambao abbamo ce qud [ ] [ ] < Δ Δ Δ Δ Δ Δ I I I doe sfruado la smmercà della marce de pes e l fao ce a gl eleme dagoal ull abbamo ce le sommaore del prmo passaggo soo ugual; el erzo passaggo abbamo sfruao l fao ce I e Δ e ell ulmo passaggo è sempre egao quao per la regola d aggorameo del euroe e u cambo d sao el euroe mplca ce Δ [ ] [ sg sg ] qud 3

33 sg Δ sg[ Δ ] sg[ ] sg{ } sg[ ] sg{ } sg[ ] sg[ ] < 8.5. aso couo La regola d aggorameo dello sao d u geerco euroe è el caso couo la seguee: d ϕ [ ] ϕ I d da cu segue d ϕ I d doe ϕ è ua fuzoe d aazoe coua o leare e crescee assocaa al euroe e è ua cosae. Possamo edere come l ssema ragguge la sablà solo quado l eore elocà del ssema s azzera oero quado d d I maera del uo equalee possamo esprmere l equazoe d sao o cerado l aezoe sulla arazoe dello sao el empo quao sulla arazoe dell pu eo el empo pereedo alla seguee equazoe d I ϕ I d da cu segue d ϕ I d La fuzoe d eerga del ssema el caso couo è la seguee ϕ d I osì come el caso dscreo se WW marce de pes smmerca allora la fuzoe è d Lapuoaa e qud doe caso d uguaglaza c roamo u puo sazoaro. d Dmosramo ora ques ulma affermazoe. Faccamo oare azuo ce d d d d d d d d d d ϕ e qud ϕ d ϕ d d d d d ϕ d d d d d d I d d I d ϕ d d d d d d I d d 33

34 ssedo ϕ ua fuzoe moooa crescee lo è ace la sua ersa ϕ - qud la sua deraa prma è posa og puo d cosegueza possamo affermare ce d ϕ d d Iolre baalmee d e è ua cosae posa d cosegueza. d d Da cò deducamo ce è ua fuzoe d Lapuo sable secodo l prmo eorema. Faccamo oare ce o è possble ce u ssema co fuzoe d Lapuo er cclo fa raados d ua fuzoe moooa decrescee ad og sae emporale abbamo ce. doe co dcamo l alore della fuzoe d eerga relaa allo sao del ssema al empo. Suppoamo ora d aere u cclo ella sequeza degl sa cu corrspode la seguee relazoe della fuzoe d eerga K m doe lo sao m. Quesa codzoe o soddsfa la codzoe d moooa a meo ce o alga l uguaglaza per uo l cclo fa rsulerebbe. Ma se ale l uguaglaza o aremo u cclo ma u puo sazoaro qud o possamo aere ccl Re d Hopfeld come AM Le re d Hopfeld ao arao l aezoe leeraura come AM memore drzzabl per coeuo cu cooscamo a pror pu d arazoe della ree ma pes soo scooscu e l problema è d roarl. La fuzoe prmara d ua AM è d recuperare paer memorzza rsposa alla preseazoe d u paer compleo o rumoroso; per queso moo egoo ace dee error-correcg correor d errore el seso ce rcosruscoo l paer orgale da uo dfeao. L essaza d ua AM è d mappare u paer ξ μ u puo sable μ del ssema damco; maemacamee possamo esprmere quesa relazoe ella forma ξ μ μ Fgura 3: operazo d codfca e decodfca La frecca erso desra è dea operazoe d codfca mere quella erso ssra è dea operazoe d decodfca. Gl araor ello spazo degl sa della ree soo memore fodameal o sa proopo della ree. Suppoamo a queso puo ce alla ree ega preseao u paer coeee suffce formazo parzal su ua memora fodameale. Possamo rappreseare queso paer come uo sao zale ello spazo degl sa e se queso è suffceemee co allo sao ce 34

35 rappresea la memora fodameale la raeora ce descrerà l ssema coergerà a ques ulma. 8.6 Omzzazoe rcorredo alle re d Hopfeld Se ruscssmo a rcodurre u problema P ad u problema d omzzazoe quadraco possamo usare ua ree d Hopfeld per rsolerlo raellg Salesma Problem SP La soluzoe d u problema SP è rappreseable rame ua marce d permuazoe d dmesoe co l umero d cà da sare. Og cella della marce è u euroe e loro oupu soo oppure. Idcamo co V {} la marce d sao del ssema d doe la -esma compoee è a se la -esma cà ee araersaa al -esmo sep del our alrme. Idcamo co D R la marce delle dsaze doe la -esma compoee dca la dsaza ra la -esma e la -esma cà e co dagoale ulla percé la dsaza da ua cà a se sessa è. Idceremo co ua geerca compoee d V e d la geerca compoee d D. Defamo ora la fuzoe coso del ssema d doe è ua cosae posa e l dce è eso modulo. La marce V seza cosrzo d alcu geere può descrere zero o pù percors d lugezza arbrara qud può o occare ue le cà. Ora se la marce V descresse solo percors uc amloa allora mmzzado la fuzoe coso oerremmo la soluzoe del SP; qud a queso puo dobbamo rodurre de col ce faccao modo ce la marce V soddsf le propreà appea descre. Voglamo azuo ce og cà ega saa al massmo ola oglamo qud ce le rge della marce V abbao solao u elemeo seao ad e l reso a. Per far queso roducamo u ulerore fuzoe coso da mmzzare ce ale l mmo se og cà è saa al massmo ua ola. Voglamo olre ce og sep del our coega al massmo ua cà oero og coloa della marce V abba u elemeo seao ad ed l reso a. Per fare queso roducamo ua erza fuzoe coso da mmzzare 3 3 ce ale se og sep del our coee al massmo ua cà. ome ulma codzoe mpoamo ce uo deoo essere araersae cà. Per far queso roducamo u ulma fuzoe coso da mmzzare 4 4 ce ale se l umero d cà araersae è esaamee. 35

36 A queso puo ua soluzoe oma del SP rcederebbe ce le 4 fuzo eerga egao mmzzae o abbamo però bsogo d u uca fuzoe eerga per queso esprmamo la fuzoe coso oale come combazoe leare delle fuzo eerga 4 3 doe l peso da arbure a cascu addedo è deermao dalle cosa pose. Dobbamo ora rcodurc alla fuzoe d eerga ella forma sa al paragrafo 8.5. oero I Per fare queso cosderamo u eore e dcamo co la -esma compoee del eore aalogamee faccamo la sessa cosderazoe per I e cosderamo W ua marce quadraa e dcamo co la -esma compoee della marce. Qud la forma a cu orremmo arrare è: I Iroducamo azuo ua oazoe: se se e rasformamo cascua delle fuzo eerga ella forma sopra dcaa. d d ralascamo l erme cosae alla fe quao o modfca l puo cu abbamo l mmo ma solo l alore della fuzoe 4 corrspodeza del mmo cosa ce a o o eressa dal momeo ce l osro scopo è mmzzare le 4 fuzo. Meedo l uo asseme oeamo [ ] d da cu segue ce possamo rsolere modo approssmao l problema del SP ulzzado la marce de pes W ce a come -esma compoee 4 3 d e come eore corree esera l eore I ce a come -esma compoee 4 I 36

37 8.6. Mamum lque Problem MP Sa GV u grafo o oreao co V l seme de erc ed quello degl arc ale per cu V{ } e V V. Defamo clque V u sooseme d erc d G ce formao u grafo compleo oero ale ce co. Defamo clque massmale d G ua clque d G ce o è coeua essu alra clque d G. Defamo clque massma d G ua clque massmale d G d cardalà massma. Il problema MP cosse el cercare u grafo ua clque massma. Queso problema è classfcao come NP-compleo. Sa V camamo eore caraersco d u eore ce soddsfa la seguee relazoe se alrme K V. doe deoa la cardalà dell seme e { } Defamo smplesso sadard R l seme S defo come S R Per qualuque eore caraersco ale la relazoe S co. Sa Aa la marce d adaceza d GV oero ua marce ale per cu se a alrme osderamo a queso puo la seguee fuzoe f A Sa V e l suo eore caraersco allora è clque massma d G sse è u massmo globale d f S. I queso caso f è ua clque massmale d G sse è u massmo locale d f S. eorema d Moz- Srauss Quello ce abbamo fao fora è predere l problema P d clque massma el dscreo e lo abbamo rasformao u problema P d omzzazoe quadraca el couo a queso puo dobbamo poer daa ua soluzoe al problema P ruscre a mapparla ua soluzoe del problema orgaro P. Queso è possble se la soluzoe oeua P è u eore caraersco. La fuzoe f a l dfeo d aere massm local ace preseza d soluzo o ella forma caraersca soluzo spure. Per oare a cò modfcamo la fuzoe el seguee modo a 37