Apprendimento per Perceptron: esempio. Apprendimento di Reti di Perceptron. Discesa di Gradiente. gradiente

Transcript

1 / 3 ; <=> J DA E F DA DA I DA $ N 45 2 dov "#$ &'#$, 9? K 9 O L M M K 9L 7 9 AC AC Sstm d Elaborazon dll Informazon 9 Sstm d Elaborazon dll Informazon Apprndmnto pr Prcptron smpo Apprndmnto d Rt d Prcptron Abbamo vsto ch un sngolo Prcptron non rsc ad apprndr tutt l funzon boolan s XOR ps nput targt out rror nuov ps Prò una rt d Prcptron può mplmntar una qualunqu funzon boolana tramt AND, OR, NOT Problma com ffttuar l apprndmnto d una rt d Prcptron? 8,,3,4,5 nssun cambamnto 8,,3,6, nssun cambamnto 8,,3,4, nssun cambamnto 8,,3,,2 nssun cambamnto Non s sa com assgnar crdto o colp all untà nascost PROBLEMA DELL ASSEGNAMENTO DEL CREDITO Una possbl soluzon è qulla d rndr l sngolo nuron drvabl sfruttar la tcnca d Dscsa dl Gradnt pr apprndr ps gust Vdamo, qund, com la Dscsa dl Gradnt s applca ad un Prcptron smplfcato Sstm d Elaborazon dll Informazon Sstm d Elaborazon dll Informazon 2 Dscsa d Gradnt Consdramo un Prcptron SENZA la hardthrshold 25 2 Dscsa d Gradnt 5 dfnamo una msura dll rror commsso da un partcolar vttor d ps E[w] 5 Funzon Error 2! è la cardnaltà dll nsm d apprndmnto +* La funzon rror d sopra msura lo scarto quadratco mdo dvso 2 dl valor targt da qullo prdtto dal nuron Ovvamnt, s s ha w 3 Ida bas partr da un random modfcarlo nlla drzon contrara al gradnt ch ndca la drzon d crscta d 2 w 2 Qund bsogna MINIMIZZARE rsptto a G F H HH F, 687, N AC

2 Sstm d Elaborazon dll Informazon 3 Calcolo dl gradnt Sstm d Elaborazon dll Informazon 5 Calcolo dl gradnt Sstm d Elaborazon dll Informazon 4 Calcolo dl gradnt Sstm d Elaborazon dll Informazon 6 Calcolo dl gradnt

3 valor pccol random Sstm d Elaborazon dll Informazon 7 Calcolo dl gradnt Sstm d Elaborazon dll Informazon 9 Dscsa d Gradnt con Sgmod Consdramo un Prcptron con funzon sgmodal dov s rcorda ch S not ch pr val la sgunt rlazon rcordamo ch drvata d funzon compost I Sstm d Elaborazon dll Informazon 8 Dscsa d Gradnt GradntDscnt ogn smpo d apprndmnto è una coppa nput, è l valor dsdrato n output targt ch ngloba Assgna a Fnché la condzon d trmnazon non è vrfcata, fa Pr ogn Prsnta Pr ogn n, fa, fa al nuron calcola l output 3, dov è l vttor d valor n è l coffcnt d apprndmnto Pr ogn, fa Sstm d Elaborazon dll Informazon 2 Calcolo dl gradnt con sgmod

4 Sstm d Elaborazon dll Informazon 2 Calcolo dl gradnt con sgmod Sstm d Elaborazon dll Informazon 23 Calcolo dl gradnt con sgmod Sstm d Elaborazon dll Informazon 22 Calcolo dl gradnt con sgmod Sstm d Elaborazon dll Informazon 24 Rt Nural Fdforward notazon targt t output z z t t 2 t k t c z 2 z k z c output w k y y 2 y y nh nascost nput x w x x 2 x x d x x 2 x x d nput

5 5 M & alla untà d output / / L # # "!$# ' 7 *,+ pso dalla untà d ngrsso untà nascost con output Sstm d Elaborazon dll Informazon 25 Rt Nural Fdforward notazon untà d ngrsso, dmnson d dat n ngrsso s s nclud la sogla nl vttor d ps untà d output, dmnson d dat n output, dmnson d dat dsdrat alla untà nascosta pso dalla untà nascosta La funzon rror, consdrando ch s hanno untà d output, dvnta Sstm d Elaborazon dll Informazon 27 Calcolo dl gradnt pr ps d una untà d output Fssamo gl ndc k / / / / / Sstm d Elaborazon dll Informazon 26 Calcolo dl gradnt pr ps d una untà d output Fssamo gl ndc k Sstm d Elaborazon dll Informazon 28 Calcolo dl gradnt pr ps d una untà d output Fssamo gl ndc k

6 / / / / / / / / / / Sstm d Elaborazon dll Informazon 29 Calcolo dl gradnt pr ps d una untà d output Fssamo gl ndc k Sstm d Elaborazon dll Informazon 3 Calcolo dl gradnt pr ps d una untà nascosta Fssamo gl ndc / / / / / / / / / / Sstm d Elaborazon dll Informazon 3 Calcolo dl gradnt pr ps d una untà d output Fssamo gl ndc k Sstm d Elaborazon dll Informazon 32 Calcolo dl gradnt pr ps d una untà nascosta Fssamo gl ndc

7 / / / / / / / / / / / / / / Sstm d Elaborazon dll Informazon 33 Calcolo dl gradnt pr ps d una untà nascosta Fssamo gl ndc Sstm d Elaborazon dll Informazon 35 Calcolo dl gradnt pr ps d una untà nascosta Fssamo gl ndc / / / / / / / / / / Sstm d Elaborazon dll Informazon 34 Calcolo dl gradnt pr ps d una untà nascosta Fssamo gl ndc Sstm d Elaborazon dll Informazon 36 Calcolo dl gradnt pr ps d una untà nascosta Fssamo gl ndc

8 / / / / / / / / / / / / / / / / / / / / / Sstm d Elaborazon dll Informazon 37 Calcolo dl gradnt pr ps d una untà nascosta Fssamo gl ndc Sstm d Elaborazon dll Informazon 39 Rt Nural Fdforward Fas Forward / / / / / Sstm d Elaborazon dll Informazon 38 Calcolo dl gradnt pr ps d una untà nascosta Fssamo gl ndc Sstm d Elaborazon dll Informazon 4 Rt Nural Fdforward Fas Backward

9 D D D D D N Sstm d Elaborazon dll Informazon 4 Sstm d Elaborazon dll Informazon 42 Algortmo BackPropagaton uno strato nascosto, stocastco Esmpo d Funzon Error BackPropagatonhlstocastco, topologa rt Inzalzza tutt ps a valor random pccol Fnché la condzon d trmnazon non è vrfcata, fa Pr ogn n z Jw, fa w 2 75 prsnta alla rt calcola l corrspondnt output 2 Pr ogn untà d output 3 Pr ogn untà nascosta 4 aggorna tutt ps dlla rt D w y w x,y x 5 25 w 4 2 w 2 4 dov s s x x* R R 2 Sstm d Elaborazon dll Informazon 43 Sstm d Elaborazon dll Informazon 44 Dscsa d Gradnt Batch Stocastca Alcun Problm Batch Fa fnché condzon d trmnazon non soddsfatta calcola 2 Stocastca Incrmntal Fa fnché condzon d trmnazon non soddsfatta Pr ogn smpo d apprndmnto n calcola 2 Sclta dlla topologa dlla rt dtrmna lo Spazo dll Ipots; Sclta dl passo d dscsa valor d E E E E dov w* w w* w w* w w* w / / apprndmnto lnto, ma calcolo d output vloc La dscsa d gradnt Stocastca gradnt stantano può approssmar qulla Batch gradnt satto con prcson arbtrara s è suffcntmnt pccolo MINIMI LOCALI!! Bas Induttvo sa nlla rapprsntazon ch nlla rcrca

10 Sstm d Elaborazon dll Informazon 45 Sstm d Elaborazon dll Informazon 46 Esmpo d Apprndmnto pr Rt Fdforward Esmpo d Apprndmnto pr Rt Fdforward Comprsson d Dat Comprsson d Dat Input Output Input Valor Output Inputs Outputs Inputs Outputs Nascost Sstm d Elaborazon dll Informazon 47 Sstm d Elaborazon dll Informazon 48 Curv d Apprndmnto Error pr ogn unta' d output Curv d Apprndmnto Codfca dll'nput a lvllo dll unta' nascost

11 L Sstm d Elaborazon dll Informazon 49 Sstm d Elaborazon dll Informazon 5 Curv d Apprndmnto Ps dall nput ad una unta nascosta Potr Computazonal Rt Nural Il sgunt torma stablsc l unvrsaltà d rt fdforward com approssmator d funzon contnu Torma Sa dfnt sa ch ndch con ntro n modo tal ch pr tutt punt una funzon contnua monotona crscnt, lmtata noncostant S l prcubo ndmnsonal 3 Data una qualunqu funzon nsm d costant ral possa ssr approssmata da,, lo spazo dll funzon contnu su sso, dov 3, allora sst un tal 2 Sstm d Elaborazon dll Informazon 5 Sstm d Elaborazon dll Informazon 52 Potr Computazonal Rt Nural Esmpo d Algortmo Lazy knn Notar ch qualunqu funzon sgmodal soddsfa l condzon mpost nl torma su Inoltr, l quazon rapprsnta l output d una rt multstrato dscrtta com sgu la rt ha nod d nput d un sngolo strato d untà nascost con untà; gl nput sono dnotat da 2 l sma untà ha assocat ps sogla 3 l output dlla rt è una combnazon lnar dgl output dll untà nascost, dov coffcnt dlla combnazon sono dat da Qund, data una tollranza, una rt con un unco strato nascosto può approssmar una qualsas funzon n S not ch l torma affrma solo l sstnza d una rt non fornsc alcuna formula pr l la tollranza dsdrata calcolo dl numro d untà nascost ncssar pr approssmar la funzon targt con Un smpo d algortmo Lazy è dato dal knarst Nghbor Vdamo l caso s mmorzzano dat d apprndmnto quando s dv ffttuar una classfcazon d un nuovo ngrsso, s rsttusc la class assocata all smpo p ù vcno tramt una mtrca opportun s Euclda mmorzzato Ovvamnt knn è lnto nl rspondr l tmpo d rsposta dpnd dal numro d smp mmorzzat