L intelligenza biologica Reti Neurali con funzione di attivazione a base radiale

Transcript

1 L intelligenza biologica Reti Neurali con funzione di attivazione a base radiale Alberto Borghese Università degli Studi di ilano Laboratory of Applied Intelligent Systes (AIS-Lab) Dipartiento di Scienze dell Inforazione borghese@dsi.unii.it /49 Soario.Le Radial Basis Function Networs. odalità di apprendiento nelle reti RBF. Apprendiento Ibrido. Apprendiento ispirato alla teoria dei segnali. Apprendiento ulti-scala. 2/49

2 intressi N uscite P unità nascoste. x 2. x x LP : ulti-layer Perceptron.. w w P w 2 Σ g(.) h i g ( w x ) w i ( w 2x ) z w i Σ g(.) 2i Σ Σ ( w x ) P ( w P x ) g(.) w Pi i Difficult to ae it learn (aleno quando g(.) è non lineare, vedi logistica)! 3/49 x 2. x. x. w w P w 2 Σ RBF: una fora differente di ( w x ) non-linearità g(.) w i ( w 2 x ) z w i Σ g(.) 2i Σ Σ P ( w P x ) g(.) w Pi Perceptrone ulti-layer g(.) sono sigoidali. x 2. x x.. g(.) g(.) g(.) w i w 2i w Pi Σ z i Linear part. (cf. Perceptron). RBF networ g(.) a base radiale 4/49 2

3 Esepi di RBF networ z i N w i ( e x σ x 2 ( πσ ) D Gaussiana z i N N w i z i w i x x 2 n + N i! w 2n x x ln( x x ) i r 2n+ Spline Sono tutte funzioni di attivazione con base Radiale (sietria circolare). 5/49 Funzioni di attivazione a sietria radiale Supponiao che vale: g(x) g(rx), con R atrice di rotazione. Allora, si dice che g(x) è invariante a rotazione, ovvero si ha sietria radiale. Per le funzioni di attivazione Gaussiane, questo vuol dire passare dalla forulazione in cui si utilizza una Gaussiana non T sietrica: ( x x ) Σ ( x x ) z w e 2 Alla forulazione a N σ e sietria radiale: z w D ( ( πσ ) Questo riflette il fatto che non si hanno assunzioni a-priori sull iportanza delle variabili: tutte le direzioni hanno la stessa iportanza. 6/49 x x (ha nora L unitaria, cf. statistica) 3

4 Approssiazione e RBF networs: ipotesi Apprendiento da esepi è in olti casi equivalente ad approssiare una iper-superficie (ulti-variabile). Dati {P(x, x 2, x 3..., x, x + )} posso scrivere il io set di esepi coe: {P(x, s(x))} con s x + R e x R. R R Ad esepio nello spazio 3D la ia funzione rappresenterà l altezza di una superficie punto per punto: s s(x,y). E una ricostruzione 2½ D ottenuta coe soa pesata di Gaussiane. 7/49 Funzioni quasi-locali Ispirazione biologica. Capo recettivo di un neurone sensoriale (e.g. I neuroni della coclea sono sensibili ad una banda di frequenza, i neuroni della corteccia soatosensoriale priaria ad una regione del corpo, alcuni neuroni della corteccia visiva sono sensibili all orientaento dei contorni...). Ciascuna unità risponde ad input in una regione liitata, ovvero ciascun input attiva solo un certo nuero di unità: quelle il cui input è vicino significativaente al centro dell unità stessa. Quasi-locale: output va veloceente al di fuori di una regione. Possibilità di definire un capo recettivo. 8/49 4

5 Soario Le Radial Basis Function Networs. odalità di apprendiento nelle reti RBF. Apprendiento Ibrido. Apprendiento ispirato alla teoria dei segnali. Apprendiento ulti-scala. 9/49 Apprendiento in una RBF networ Supervised learning. Regolarizzazione. Approccio Bayesiano. Schei ibridi. Teoria del filtraggio. z i N w i ( e x σ x 2 ( πσ ) D Dato un insiee {z S(x )} trovare i paraetri tali che la iper-superficie risultante fitta eglio i dati. 0/49 5

6 Supervised learning style Definisco una funzione costo J(.), funzione dei paraetri α. S( P α) w g( P σ ) P { α } { α } ( S[ ( P ) ] ) 2 s in J ( a) in α Il inio di J(.) si ha quando le derivate rispetto ai paraetri si annullano Tecniche di ottiizzazione traite gradiente. Non ci sono vincoli sui paraetri. I valori di σ tendono a crescere ed i centri a concentrarsi al centro o a respingersi fuori dal capo recettivo. inii locali. /49 Regolarizzazione Si aggiungono ipotesi sulla funzione (stabilizzatori della soluzione). Regolarizzazione -> Problea variazionale: H[ s] in x (.)] { s(.)} 2 ( s( ) y ) + λφ[ s isura la fedeltà della soluzione f(.) ai capioni, grado di interpolazione. Stabilizzatore (e.g. Penalizza le variazioni brusche), grado di soothness. λ è un paraetro scelto dall utente. 2/49 6

7 Approccio Bayesiano Supponiao che i nostri esepi: {x ; s } siano ottenuti capionando in odo randoico una iper-superficie s(.) non nota, in presenza di ruore: s s(x ) + ε (i,...n). Gli ε sono indipendenti, sono funzioni randoiche che rappresentano il ruore con una sua distribuzione statistica. Supponiao di considerare la iper-superficie s(.) coe una realizzazione di un capo randoico con una certa distribuzione a-priori, che indichiao con P[s(.)]. Questo rappresenta la conoscenza a-priori sul capo di iper-superficie da cui è estratta. Si può utilizzare per dare un vincolo soft alla soluzione, favorendo quelle superfici che eglio soddisfano le ipotesi a prori sul capo delle iper-superfici. 3/49 Approccio Bayesiano: foralizzazione Definisco s(.) la ia iper-superficie e la associo ad una funzione di probabilità da deterinare e Q {x ; s } l insiee dei dati. P[s Q] Probabilità condizionata della funzione s, dati i capioni Q. P[Q s] Probabilità condizionata di ottenere i dati Q da un odello s(.): probabilità di ottenere i valori {s } capionando la funzione nei {x }: rappresenta un odello dell errore. P[s(.)] Probabilità a-priori sul capo randoico s(.). Dal teorea di Bayes si ottiene: P[s(.) Q] P[Q s(.)] P[s(.)] 4/49 7

8 Approccio Bayesiano: le ipotesi P[Q s(.)] Assuiao che il ruore di isura (ε ) sia noralente distribuito con varianza σ. 2 2σ P[ Q s(.)] e N ( z s( P[s(.)] Viene scelto in odo analogo al terine di regolarizzazione: diao probabilità alta a funzioni che hanno costo basso: aφ[ s(.)] P( s(.)) e Traite la regola di Bayes, otteniao: P( s(.) Q) iniizza l esponente problea 5/49 di regolarizzazione con λ 2σ 2 α. x )) N N ( y ( )) ( ( )) + [ (.)] 2 s x y 2 s x aσ φ s 2σ ( (.)) 2 aφ s σ e e e Un odo classico di stiare s(.) è ediante la AP, s(.) che 2 Soario Le Radial Basis Function Networs. odalità di apprendiento nelle reti RBF. Apprendiento Ibrido. Apprendiento ispirato alla teoria dei segnali. Apprendiento ulti-scala. 6/49 8

9 Learning ibrido Supponiao di ricostruire una ipersuperficie S(P):I paraetri {α} da deterinare in una RBF networ Gaussiana sono: S( P α) w G( P σ ) P Nuero di unità (), Posizione {P } e standard deviation {σ } delle unità. Definiscono la struttura della rete. Pesi {w }sinaptici (perceptrone con unità di attivazione Gaussiane). 7/49 Deterinazione della posizione S( P α) w G( P σ ) P Per deterinare la posizione delle unità: Definizione del nuero di unità. Posizionaento delle unità ediante clusteringin: (eans, fuzzy-clustering, ). Filosofia: vado ad inserire più unità dove ci sono più dati. 8/49 9

10 Deterinazione dell apiezza delle unità {σ } S( P α) w G( P σ ) P Si utilizzano euristiche di tipo P-nearest-neighbour. E.g. prio ordine: σ < xαβ > Dove α,β sono tutte le coppie di centri ottenute associando ad α il centro più vicino. σ controlla il grado di sovrapposizione tra due Gaussiane vicine. La edia può essere calcolata localente: P-loc-nearest-neighbor e quindi ogni unità avrà una sua apiezza caratteristica. 9/49 Deterinazione dei pesi sinaptici S( P α) w G( P σ ) P Deterinata la struttura della rete, per ogni input avrò un output che è funzione lineare dei pesi. Utilizzo la tecnica utilizzata per il perceptrone. Quale? Ricordiao che le reti RBF sono chiaate anche perceptroni non lineari o Gaussiani. NB rilevanza dal punto di vista biologico e coputazionale. Ho una struttura fissa: funzioni con capo recettivo locale, con queste unità posso realizzare funzioni coplesse sepliceente agendo sui pesi. Le unità i forniscono già una pre-elaborazione dell input locale in spazio a anche in frequenza. 20/49 0

11 Risultati da oody & Daren Esperiento di riconosciento autoatico del parlato. Analizzo in tepo reale lo spettro per estrarre le foranti. Dalle foranti voglio riconoscere le vocali (sillabe). Seconda forante [Hz] Pria forante [Hz] Posizione e standard deviation delle unità della rete (20 unità). Queste unità i ricostruiscono una superficie (pre-processing) su cui poi andrò ad applicare tecniche di clustering per individuare le diverse vocali. 2/49 Soario Le Radial Basis Function Networs. odalità di apprendiento nelle reti RBF. Apprendiento Ibrido. Apprendiento ispirato alla teoria dei segnali. Apprendiento ulti-scala. 22/49

12 Filtraggio e convoluzione Aplitude [] Aplitude (odule) Low-pass (Gaussian) σ? σ 0 σ 4 σ Aplitude [] Frequency [Hz] Tie [s] ( x σ ( c c e Consideriao il filtro Gaussiano: h x; x ) G( x x ; σ ) Tie [s] La posizione della Gaussiana è definita da x c, la sua apiezza da σ. 2 x c ) 2 s out ( x ) / G( xn) sin( xn x ) G( x) sin( x) n La Gaussiana attenua in odo progressivaente aggiore le A.A. aroniche con frequenze più 23/49 elevate (filtraggio passa-basso) Applicazione: 3D scanner Pair of video-caeras + standard laser pointer. The range data are obtained by painting the surface anually. Set of range data, which is denser where required. High precision in spot localization (cross-correlation, bright iage). {z s(x,y )} Drawbac: High scanning tie. 24/49 2

13 The RBF odel w G ( P ) s( P) σ P Structural paraeters to be set: Nuber of units. {P } Position of the units. σ Gaussian width. Linear paraeters: {w } Weights. Grid support Siple coputation 25/49 RBF e Filtri s( P) s s S( P) G( P P G( P P σ ) + s s (.)* G( P. σ ) G(.) costituisce un filtro passa-basso: w G Gaussiane equispaziate su un grid. P + P P σ σ κ Gaussiane noralizzate g(.) 2 ( P σ ) P σ ) G( P P 2 σ ) +... S( P) S (.)* G( P. σ ) w s s(p ) 26/49 3

14 Role of the scale σ Linear filter (low-pass) S( P) s G ( P P σ ) σ Scale of the filter (bandwidth) Sall scale (high frequency) Large scale (low frequency) Setting σ, we set the spatial frequency of the reconstruction. 27/49 Ricostruzione da renge data a scala diversa σ 6 S( P) s G ( P P σ ) σ 2 28/49 4

15 Coe deterinare i paraetri strutturali Si deterina il dettaglio desiderato (frequenza spaziale), σ. Al diinuire di σ, auenta la frequenza spaziale -> per il teorea di Shannon auenta la frequenza di capionaento (vicinanza tra due Gaussiane). σ ν ax ν S P Valori di esepio: P σ equivalente ad un 75% di overlap tra Gaussiane adiacenti. 29/49 Coputation of the {s } S( P) s G We do not have the height of the surface in the grid crossing, {s }, and we ust estiate it. s s 30/49 ( P P σ ) f ( P We can apply weighted ean estiate where each easured point, s s(p )is weighted with a function, f(. ), of its distance fro P. ( P ) f ( P P ) P ) 5

16 Riassunto sulla configurazione delle RBF networ S( P) s G ( P P σ ) Scelta di un valore di σ adeguato. Calcolo dell ipaccaento delle Gaussiane: Gaussiane.σ P (teoria del filtraggio). Stia dell altezza della superficie nei grid crossings. s ( P ) f ( P P s f ( P P ) ) 3/49 S( P) s G( P σ ) P Probles Related to the choice of σ: No inforation on spatial frequency content. Frequency variability. σ should be chosen sall enough to reconstruct the finest details (high pacing). Few points close to P to estiate s S(P ).ay result in other regions. No control on the reconstruction error. s How any and which points use to estiate{s }.. The approach as it is has little adaptivity and little hope to be realtie. s ( P ) f ( P f ( P P ) P ) 32/49 6

17 Soario Le Radial Basis Function Networs. odalità di apprendiento nelle reti RBF. Apprendiento Ibrido. Apprendiento ispirato alla teoria dei segnali. Apprendiento ulti-scala. 33/49 Strategia costruttiva di s(p) Inizio con una scala olto apia e valuto il residuo. Approssiazione del residuo, dove presente, ad una scala più piccola. Calcolo di un secondo residuo.. Fino a che l errore di approssiazione soddisfa il io criterio di approssiazione (cross-validation, contenuto in frequenza del ruore, rischio epirico o strutturale ). NB Le Gaussiane vengono inserite negli incroci della griglia solaente dove l errore (residuo) è sopra soglia (calcolo del residuo locale). 34/49 7

18 Costruzione di un prio livello a scala apia σ 6 I ( P ) s s G ( P P σ ) 35/49 Calcolo del residuo Residuo della ricostruzione: r I {z -S I (P)} P isurato, P. S I ( P ) s G ( P P σ ) Residuo: {z -S I (P )} 36/49 8

19 Error evaluation Continuos surface at a low scale (σ 6) Residual at the sapled points The residual is coputed in the points sapled over the surface (range data). The error is evaluated using an integral etric: to avoid outliers (spie reproduction). I r ( P ) N I e 37/49 Al layer : Costruzione di un secondo livello gerarchico e I (P ) σ 8 S II (.) I I r ( P ) S ( P ) N Viene calcolato un valore di errore per ogni grid crossing,. Layer #2 r II (.) Nei livelli successivi si approssia il residuo si aggiunge dettaglio. 38/49 9

20 The HRBF configuration algorith ) Start with a large scale and reconstruct the surface. 2) Copute the residual. Do: a 2) Create a denser grid (lower scale). (x) 3) Copute the residual at this lower scale. a 4) Evaluate the residual. 2 (x) 5) Insert the Gaussians only where the residual is under-threshold. Until: 6) Until the residual goes under threshold. s(x) r (x) r 2 (x) a J (x) r J (x) Reconstruction is obtained by adding the approxiations: Each approxiation is obtained as: a ( P) s G P P σ 39/49 s ( x) a ( x) ( ) Sintesi della superficie x a (x) a 2 (x) a J (x) s(x) Diversi strati (reti RBF). Ciascuno strato opera ad una certa scala. Gli strati non sono copleti a allocano Gaussiane solo dove l errore locale è sopra-soglia. 40/49 20

21 HRBF Networs Noise 4/49 Sfruttaento della quasi-localita Definisco un capo recettivo, RF, per ogni Gaussiana (grdi crossing. E.g. Il quadrato centrato nella Gaussiana e di diensione 2 P. I capi recettivi sono parzialente sovrapposti. Operazioni quasi-locali sui punti all interno dei capi recettivi: Calcolo dell altezza della funzione nell incrocio. Calcolo dell errore locale. 42/49 2

22 Where locality is interesting? Estiate of the Surface in the grid crossings: s S( P) s G( P σ ) s ( P ) f ( P P f ( P P ) P ) Coputation of the error fro the residual for each grid crossing: r( P ) e N Questi calcoli possono essere ristretti solaente i punti all interno del capo recettivo della -esia Gaussiana. 43/49 Risultato: sparse approxiation Grids do not need to be coplete, but Gaussians can be inserted only in those crossings where the error is over threshold. We obtain a sparse approxiation (less dense units, where less dense sapling and larger details). Local control of the reconstruction error. Error globally under threshold. 44/49 22

23 Representation of data locality Approxiate the Receptive field with squares (anhattan distance). Quad-tree subdivision Data are partitioned into parallelepipeds supported by the grid at the lowest (largest) scale. 45/49 Efficient data storage Quad-tree subdivision by eans of in-place sorting. 46/49 Bloc of range data associated to the grid square Data can be retrieved directly. At every layer, only data inside the receptive field have to be sorted. 23

24 Quantitative results #Layers ean error [] Error std [] # of gaussians σ [] / / ,778/3, ,078/4,933 2 Data set cardinality: 2,47. Processing tie on a Pentiu III, 800hz, was < s. 47/49 Properties of HRBF networs Direct coputation of the paraeters (no iterations). Increental Reconstruction (ulti-scale). Real obect Local coputation. Error-driven (local adaptation of the scale). Local control on the error. Range data 3D surface 48/49 24

25 Soario Le Radial Basis Function Networs. odalità di apprendiento nelle reti RBF. Apprendiento Ibrido. Apprendiento ispirato alla teoria dei segnali. Apprendiento ulti-scala. 49/49 25