Metodi di regressione lineare

Transcript

1 Metod d regressone lneare Note dal corso d Machne Learnng Corso d Laurea Magstrale n Informatca a.a Prof. Gorgo Gambos Unverstà degl Stud d Roma Tor Vergata

2 2 Queste note dervano da una selezone e relaborazone dalle seguent font: - C.M. Bshop Pattern recognton and machne learnng, Sprnger - J. Fredman, T. Haste, R. Tbshran The elements of statstcal learnng, Sprnger - C.M. Bshop Neural networks for pattern recognton, Oford Unversty Press - M.E. Tppng Bayesan Inference: An Introducton to Prncples and Practce n Machne Learnng, n Advanced lectures n machne learnng, LNAI 3176, Sprnger - Note dal corso CS229 Machne learnng, Stanford Unversty, Prof. A. Ng, Note dal corso CS340 Machne learnng, Unversty of Brtsh Columba, Prof. K.P. Murphy, 2007

3 1 Regressone lneare 1.1 Modell lnear d regressone Come detto, nel problema della regressone, dato un vettore d nput T = ( 1, 2,..., d ), s vuole predre l output corrspondente ndvduando una funzone y() tale che y() non sa troppo dverso dal valore d output y assocato a. Nel caso d modell lnear, consderato qu, c lmtamo a funzon y() composte da una combnazone lneare de valor n. Qund, quel che s vuole, dato un vettore d nput T = ( 1, 2,..., d ), è predre l output corrspondente medante un modello del tpo: y = y( 1,..., d ) = β 0 + d j β j Se consderamo l vettore T = (1, 1, 2,..., d ) allora possamo scrvere la relazone n forma matrcale: con y = y() = T β j=1 β T = (β 0,β 1,...,β d ) Se l output non è scalare, ma è un vettore y d dmensone q, allora voglamo predre ogn sngola componente y 1,y 2,...,y q dell output medante un modello lneare: d y l = h l ( 1,..., d ) = β 0l + j β jl In questo caso, abbamo una B è una matrce (d+1) q e la relazone n forma matrcale è data da: y T = T B Esempo: Costo anell d damant rspetto a carat (sul mercato d Sngapore). j=0 Tagla n carat Costo n SGD (dollar d Sngapore), Fgura 1. Dat osservat per l esempo. r

4 4 1 Regressone lneare Voglamo trovare una buona prevsone del costo d un anello con damante d 0.32 carat. È possble dervare l modello lneare con ˆβ 0 = 259.6, ˆβ 1 = 3721, corrspondente alla retta y = Ad esempo, per = 0.32 l modello c fornsce y = Il valore ˆβ prescelto per β è quello che mnmzza una funzone d costo preventvamente defnta su valor y osservat nel tranng set e su quell predett T β (dove T = (1, (1),..., (d) )). La pù dffusa funzone d costo è la semsomma de quadrat de resdu (dove l coeffcente moltplcatvo 1/2 è nserto soltanto per semplctà ne calcol successv): C X,y (β) = 1 2 = 1 2 (y( ) y ) 2 = 1 2 (β 0 + d j=1 ( T β y ) 2 (j) β j y ) 2 Assumamo per semplctà che c sa una sola feature (1) =, e qund che r Fgura 2. Retta d regressone lneare per l esempo. y = y() = β 0 +β 1 Allora, C X,y (β) = 1 2 (y( ) y ) 2 = 1 2 (β 0 + β 1 y ) 2 I valor d ˆβ 0 e ˆβ 1 possono essere ottenut n modo semplce utlzzando l calcolo dfferenzale. Dervando rspetto a β 0 e ponendo la dervata par a 0 ottenamo C X,y (β) = (β 0 + β 1 y ) = 0 β 0 e qund, dvdendo per n, β 0 + β 1 n 1 n y = β 0 +β 1 y = 0 y e ndcano le mede artmetche d (y 1,y 2,...,y n ) e d ( 1, 2,..., n ). Effettuando lo stesso rspetto a β 1 abbamo C X,y (β) β 1 = (β 0 + β 1 y ) = 0 e qund, dvdendo ancora per n, β 0 n + β 1 n 2 1 n y = β 0 +β 1 y = 0 y e ndcano le mede artmetche degl nsem ( 1 y 1, 2 y 2,..., n y n ) e ( 2 1, 2 2,..., 2 n). Rsolvendo l sstema lneare composto dalle due equazon, ottenamo: β 1 = y y 2 y y β 0 = 2

5 1.1: Modell lnear d regressone 5 Il fatto che C X,y (β) venga effettvamente mnmzzato per tal valor è mmedatamente verfcable osservando che le dervate seconde rspetto a β 0 e a β 1 sono rspettvamente S rcorda che una funzone y = e 2 C X,y (β) β 2 0 = 1 f() ha un mnmo n 0 se f ( 0 ) = 0 e f ( 0) > 0. 2 C X,y (β) β 2 1 = e qund postve ovunque Dscesa del gradente La rcerca d un mnmo per C X,y (β) può essere effettuata anche n modo non analtco, per mezzo d un eurstca d dscesa del gradente. Un algortmo d questo tpo parte da un assegnazone nzale d valorβ (0) = (β (0) 0,β(0) 1,...,β(0) d ), a cu corrsponderà un valore C X,y (β (0) ) = 1 2 ( T β(0) y ) 2 =0 l algortmo opera po modfcando teratvamente, ad ogn passo, valor β ( 1) nella drezone d dscesa pù rapda (steepest descent) d C X,y (β). In partcolare, al passo -esmo dell algortmo l valore β ( 1) j è aggornato nel modo seguente: β () j := β ( 1) j α C X,y(β) (β ( 1) j ) β j Come s può notare, β j vene ncrementato tanto pù quanto è negatva la dervata d C X,y (β) rspetto a β j calcolata per l valore attuale d β j, vale a dre quanto pù un ncremento d β j porta ad un decremento d C X,y (β). In modo pù compatto, utlzzando l operazone d gradente, l aggornamento complessvo all -esmo passo è dato da β () := β ( 1) α β C X,y (β)(β ( 1) ) In fgura 3 è llustrato grafcamente l comportamento d un algortmo d dscesa del gradente applcato alla rcerca del mnmo d una funzone d una varable. Come s può vedere, per effetto della postvtà del gradente (dervata prma), l valore consderato vene va va dmnuto fno a tendere al mnmo. In fgura 4 è nvece mostrato l comportamento d un algortmo d dscesa del gradente per una funzone d due dmenson (z = 2 +2y 2 ) rappresentata per mezzo d lnee a medesmo valore d z. Anche n questo caso, s può osservare come la dscesa lungo l gradente consenta d avvcnars al mnmo: all nzo pù velocemente, n quanto la dervata è pù negatva (come s può osservare dalla mnore dstanza tra le curve) e po pù lentamente. C s può faclmente rendere conto che un algortmo d dscesa del gradente non garantsce, n generale, l raggungmento (neanche n termn asntotc) del mnmo globale d una funzone. Infatt, quel che vene ndvduato è un punto d mnmo locale, n funzone del punto d avvo dell algortmo. Nella fgura 5 è possble osservare come, n presenza d una funzone con pù mnm

6 6 1 Regressone lneare Fgura 3. Esempo d applcazone dell algortmo del gradente per una sola feature. Fgura 4. Esempo d applcazone dell algortmo del gradente. Fgura 5. Algortmo del gradente n presenza d pù mnm.

7 1.1: Modell lnear d regressone 7 (z = ysn()), l mnmo su cu s drge l algortmo vara a seconda del punto d avvo. Nel caso generale n cu l numero d features è d > 1, e qund β = (β 0,β 1,...,β d ), s può verfcare faclmente, rcordando che abbamo posto (0) = 1 per ogn, che C X,y (β) β j = ( d k=0 β k (k) y ) (j) = ( ) y( (1),..., (d) ) y (j) Applcando quanto detto, ottenamo che l algortmo d dscesa del gradente vene ad essere sostanzalmente costtuto dal seguente cclo, eseguto fno a quando la condzone d convergenza non è verfcata (ad esempo quando la dstanza tra due punt successv nello spazo a p + 1 dmenson attraversato è nferore ad una qualche sogla ε predefnta). repeat for 0 j d { β j := β j α ( n f( (1),..., (d) } untl convergenza ) y ) S not che, per ogn terazone del cclo, l aggornamento d ognuno de valor β j comporta l esecuzone d una somma d n valor, dove n è la dmensone del tranng set. Se tale dmensone è elevata, rconsderare ad ogn terazone tutte le osservazon può rsultare eccessvamente costoso. Una alternatva dell algortmo d dscesa del gradente pù effcente è rappresentata da un algortmo (detto sequenzale) che esegue gl aggornament de parametr β per un totale d n terazon (una per ogn osservazone nel tranng set). All terazone -esma, vene consderata la sola osservazone (,y ) e valor β ( 1) 0,...,β ( 1) d vengono aggornat tendendo conto soltanto d tale osservazone. Il tutto è descrtto dal seguente codce: for 1 n { for 0 j d { ( ) β j := β j α y( (1),..., (d) ) y (j) } } Una varante d questo algortmo prevede che, ad ogn terazone, l osservazone da consderare sa scelta n modo casuale Soluzone analtca Rcordamo che l gradente A f(a) d una funzone f : IR m n IR rspetto a una matrce A IR m n è la matrce delle dervate parzal, n cu, qund, A f(a) j = f(a) a j Rcordamo noltre che, data una matrce quadrata A IR n n, la tracca tr(a) d A è la somma degl element sulla dagonale prncpale tr(a) = a (j)

8 8 1 Regressone lneare e che Infne, rcordando che possamo ottenere che A Tf(A) = ( A f(a)) T A tr(aba T C) = CAB+C T AB T A T tr(aba T C) = ( A tr(aba T C)) T = (CAB+C T AB T ) T = B T A T C T +BA T C Osservamo ora che, se X è la matrce delle osservazon (e X è la matrce ottenuta da essa anteponendo una colonna d tutt element untar alle altre) e y l vettore de corrspondent valor, allora Xβ y = T 1 β T 2 β. T n β y 1 y 2. y n = T 1 β y 1 T 2 β y 2. T n β y n Dato che, n generale, per ogn vettore z T = (z 1,...,z m ) s ha che z T z = m z2, allora 1 2 (Xβ y)t (Xβ y) = 1 2 ( β y ) 2 = C X,y (β) Il mnmo d C X,y (β) rchede l calcolo delle dervate rspetto a β 0,...,β d, e qund l calcolo del gradente d C X,y (β) rspetto al vettore β ( ) 1 β C X,y (β) = β 2 (Xβ y)t (Xβ y) (1.1) = 1 2 β(β T X T Xβ β T X T y y T Xβ +y T y) (1.2) = 1 2 βtr(β T X T Xβ β T X T y y T Xβ +y T y) (1.3) = 1 2 β(tr(β T X T Xβ) 2tr(y T Xβ)) (1.4) = 1 2 (XT Xβ +X T Xβ 2X T y) (1.5) = X T Xβ X T y (1.6) dove (1.2) derva rcordando che (A+B) T = A T +B T e che (AB) T = B T A T, (1.3) derva n quanto la tracca d un numero reale è l numero stesso. La (1.4) rsulta n quanto tr(β T X T y) = tr(β T X T y) T = tr(y T Xβ) e tr(y T y) è un numero reale, ndpendente da β, per cu β tr(y T y) = 0. S ottene po la (1.5) n quanto A tr(ab) = A tr(ba) = B T e noltre, come mostrato sopra, A T tr(aba T C) = B T A T C T +BA T C e, ponendo A = β T, B = X T X = B T e C = I (dove I è la matrce denttà, n cu jk = 0 se j k e kk = 1), s ottene β tr(β T X T XβI) = β tr(β T X T Xβ) = X T Xβ +X T Xβ.

9 1.1: Modell lnear d regressone 9 Affnché le dervate sano par a 0, abbamo che deve essere X T Xβ = X T y e qund, che β = (X T X) 1 X T y dove evdentemente assumamo che X T X sa non sngolare, e qund che tutte le sue colonne sano lnearmente ndpendent. Esste un nterpretazone geometrca della dervazone d β da X e y: nfatt, assumendo n modo naturale che n > d, abbamo che le d + 1 colonne d X (ognuna delle qual è un vettore d n element real) hanno uno span (sottospazo generato) d dmensone par al rango d X, e qund a d+1 se X è non sngolare. Se ndchamo Xβ come y, allora possamo osservare che l mnmo d C X,y (β) s ha per 0 = X T Xβ X T y = X T (y y) l che è vero se e solo se y y è ortogonale rspetto a tutte le colonne d X, e qund allo span d tal colonne. Detto altrment, y (e qund X T β) è la proezone d y sullo span delle colonne d X, e può essere espresso come combnazone lneare delle colonne d X. I coeffcent della combnazone lneare sono propro gl element d β. D seguto è llustrato un esempo n cu n = 3,d = 1: due vettor c 1,c 2 corrspondono alle due colonne d X e generano un sottospazo d dmensone 2. Come vene mostrato, l vettore y è la proezone d y su tale pano. Fgura 6. Interpretazone geometrca della regressone lneare per X T X sngolare. S not che, se X T X è sngolare allora X T X = 0 e, dato che X T = X, allora X = 0 e anche X è sngolare. Qund, se X T X è sngolare, le d + 1 colonne d X non sono lnearmente ndpendent e l loro span ha dmensone mnore dd+1. La fgura seguente llustra questo caso, ancora pern = 3,d = 1, n cu le due colonne c 1,c 2 sono lnearmente dpendent, e hanno uno span d dmensone 1. Fgura 7. Interpretazone geometrca della regressone lneare per X T X sngolare.

10 10 1 Regressone lneare Anche n questo caso, y è comunque la proezone d y sullo span delle colonne d X: a dfferenza del caso precedente, y può essere espresso n dvers mod n termn d combnazone lneare delle colonne d X, e qund corrsponde a dverse soluzon per β Gustfcazone probablstca de mnm quadrat Perchè utlzzare propro mnm quadrat come funzone d costo? Una rsposta può essere formulata sulla base d consderazon probablstche. Supponamo che, dato un nput l cu output corretto è y, l valore predetto dal nostro modello sa y(): defnamo allora l errore della prevsone del modello come ε = y() y = T β y dove ε rappresenta l effetto sa d fenomen non modellat che d rumore casuale. Supponamo che ε derv da numeros effett ndpendent, e sa dstrbuto secondo una dstrbuzone gaussana d meda µ = 0 e varanza σ 2 e qund Da cò derva che e n partcolare p(ε) N(0,σ 2 ) p(ε) = 1 ) ep ( ε2 2πσ 2σ 2 p(y,β,σ 2 ) N( T β,σ 2 ) p(y,β,σ 2 ) = 1 ep ( (y T β) 2 ) 2πσ 2σ 2 Il modo comune d consderare questa espressone è come defnzone d funzone (denstà d probabltà) d y: n partcolare, n questo caso, dato β, ad ogn ogn valore d è assocata una funzone d y (che n partcolare esprme una probabltà). Possamo però consderare la stessa espressone come defnzone d una funzone d β: n questo caso, dato, ad ogn valore d y è assocata una funzone d β, denomnata verosmglanza (lkelhood). L(β;,y,σ 2 ) = p(y,β,σ 2 ) Dato un tranng set X,y, gl error ε assocat alle vare osservazon sono mutuamente ndpendent, e qund anche valor y condzonat dalle osservazon sono mutuamente ndpendent. L(β) = p(y X,β,σ 2 ) = = n p(y,β,σ 2 ) n 1 ep ( (y T ) β)2 2πσ 2σ 2 Dato l modello precedente, c chedamo quale sa, nel caso n cu X e y sano conoscut (come s assume sano), la mglore scelta d β. A tal fne, applchamo l prncpo d massma verosmglanza (mamum lkelhood), secondo l quale convene sceglere l valore d β che massmzza L(β). Massmzzare L(β) equvale a massmzzare la log-lkelhood l(β) = log L(β) (la base del logartmo è rrlevante). Nel nostro caso

11 1.1: Modell lnear d regressone 11 l(β) = ( 1 log ep ( (y T )) β)2 2πσ 2σ 2 = nlog 1 1 2πσ 2σ 2 (y T β)2 Charamente, massmzzare l(β) equvale a mnmzzare Funzon d base 1 2 (y T β)2 Fno ad ora abbamo consderato modell defnt come combnazone lneare delle features. In effett, questo approcco può essere generalzzato al caso n cu vene effettuata una combnazone lneare d un nseme predefnto d funzon non lnear sulle features, dette funzon d base. In questo caso coè l modello ha la forma: m 1 y = y( 1,..., d ) = β 0 + β j φ j ( 1,..., d ) che, defnendo = ( 1,..., d ) T e φ 0 () = 1, può essere scrtta y = m 1 j=0 j=1 β j φ j () = β T φ() dove φ() = (φ 0 (),φ 1 (),...,φ m 1 ()) Un prmo esempo d funzon base sono le funzon polnomal φ () =, altr cas sono le gaussane o le sgmodal φ () = ep ( ( µ ) 2 ) 2σ 2 1 φ () = 1+ep ( ( µ ) σ Nella fgura 8 sono mostrate, da snstra a destra, famgle d funzon polnomal, gaussane e sgmodal. ) Fgura 8. Esemp d famgle d funzon base. S not che, mentre le funzon polnomal sono tendenzalmente global, nel senso che, per una varazone d, camba l valore resttuto da tutte le

12 12 1 Regressone lneare funzon, cò non è vero per le gaussane e le sgmodal: nfatt, per tal famgle, soltanto un numero lmtato d funzon cambano n modo sgnfcatvo l propro valore, per pccole varazon d. Come nel caso d combnazon lnear delle features, possamo cercare d ottenere una buona scelta de parametr n β mnmzzando una funzone d costo (loss functon), che possamo assumere sa la usuale funzone somma de quadrat. Consderamo nuovamente che y = y() + ε, con ε varable casuale dstrbuta secondo una gaussana d meda 0 e varanza σ 2. Allora possamo scrvere: p(y,β,σ 2 ) = 1 ) (y y())2 ep ( 2πσ 2σ 2 = 1 ep ( (y βt φ()) 2 ) 2πσ 2σ 2 Charamente, dato che l valore atteso dell errore è 0, l valore atteso d y sarà, per potes, propro l valore y() resttuto dal modello. E[y ] = tp(t )dt = y() Dato un tranng set X,y, e assunto nuovamente che gl error ε assocat alle vare osservazon sano mutuamente ndpendent, avremo allora che, per quanto rguarda la lkelhood L(β) = n p(y,β,σ 2 ) = e, passando alla log-lkelhood d l(β) = n 1 ep ( (y β T φ( )) 2 ) 2πσ 2σ 2 ( 1 log ep ( (y β T φ( )) 2 )) 2πσ 2σ 2 = nlog 1 1 2πσ 2σ 2 (y β T φ( )) 2 La massmzzazone d l(β) come funzone d β equvale alla mnmzzazone 1 2 (y β T φ( )) 2 Rpercorrendo quanto mostrato nella sezone e consderando, al posto della matrce X, la matrce φ 0 ( 1 ) φ 1 ( 1 ) φ 2 ( 1 ) φ m 1 ( 1 ) φ 0 ( 2 ) φ 1 ( 2 ) φ 2 ( 2 ) φ m 1 ( 1 ) Φ = φ 0 ( n ) φ 1 ( n ) φ 2 ( n ) φ m 1 ( n ) tale coè che Φ j = φ j 1 ( ), ottenamo che β = (Φ T Φ) 1 Φ T y

13 1.1: Modell lnear d regressone 13 Il termne (Φ T Φ) 1 Φ T può essere vsto come una generalzzazone della matrce nversa al caso d matrc non quadrate (e n generale non nvertbl). S not nfatt che, se Φ è quadrata (e qund n = m) e nvertble, allora (Φ T Φ) 1 Φ T = Φ 1 (Φ T ) 1 Φ T = Φ 1. La conoscenza del tranng set c permette anche d effettuare la stma d σ 2 medante massmzzazone della lkelhood (n partcolare della log-lkelhood). In partcolare, effettueremo la massmzzazone d l(β) rspetto a γ = 1, dal σ 2 che rsulta: l(β) γ ( = nlog γ = γ = 1 2 γ 2π γ 2 ) (y β T φ( )) 2 ( ) n 2 logγ n 2 log2π γ (y β T φ( )) 2 2 ) γ (y β T φ( )) 2 ( n e, ponendo la dervata par a 0, ottenamo σ 2 = 1 γ = 1 n (y β T φ( )) 2 e qund rsulta che la mglore stma d σ 2 è data dalla varanza de valor effettv rspetto a valor fornt dal modello Overfttng e regolazone In generale, è possble aumentare la rspondenza del modello rspetto a dat nel tranng set aumentando opportunamente la complesstà del modello stesso, ad esempo ncrementando l numero d parametr. Ad esempo, dat corrspondent a punt n fgura 9 sono dervat aggungendo del rumore casuale alla funzone y = sn2π. In partcolare, valor d nput sono stat generat da una dstrbuzone unforme n (0,1): per ogn l corrspondente valore y è stato ottenuto aggungendo al valore della funzone sn2π una componente d rumore dervata da una dstrbuzone gaussana con meda µ = 0 e varanza σ 2 = 0,09. Voglamo defnre un modello che approssm al meglo la funzone a partre da punt del tranng set. Consderamo modell defnt su funzon base polnomal d y() = β con un valore d opportuno e parametr β 0,...,β d dervat dal tranng set utlzzando le tecnche esposte sopra, basate sulla massmzzazone della lkelhood (o sulla mnmzzazone della funzone d costo quadrat degl error ). Nella fgura 12, sono rportat polnom approssmant ne cas d = 0, con modello ŷ = β 0, d = 1 (la normale regressone lneare), d = 3 e d = 9. Come s può vedere, al crescere d d polnom approssmano sempre meglo punt nel tranng set, fno a quando, per d = 9 punt sono approssmat senza alcun errore. Cò è possble n quanto per ogn nseme d n punt nel pano, esste un polnomo d grado n che l attraversa. Al tempo stesso, possamo osservare che l polnomo d grado 9, per poter attraversare tutt punt del tranng set, presenta delle marcate oscllazon, rsultano, complessvamente n una approssmazone povera della funzone y = sn 2π. Questo =0 Fgura 9. Tranng set da y = sn2π. r

14 14 1 Regressone lneare Fgura 10. Esemp d polnom approssmant. fenomeno, per l quale l tentatvo d approssmare n modo molto precso, oltre una certa sogla, dat del tranng set (che a loro volta, per la presenza d rumore, sono soltanto un approssmazone della funzone soggacente) fa sì che l approssmazone della funzone stessa dvent povera, vene denomnato overfttng. L effetto dell overfttng è vsble nella fgura 11, nella quale sono stat rportat valor della funzone d costo E RMS = n (y y( )) 2 n cu la normalzzazone rspetto a n consente d comparare la funzone calcolata su nsem d dmensone dversa. In fgura vene rportato l andamento del costo al crescere d d, calcolato sul tranng set d 9 punt e su un valdaton set (o test set) d 100 punt generat con la stessa procedura utlzzata per generare l tranng set. La funzone E RMS, applcata sul valdaton set, c fornsce una msura dell errore ndotto dalle scelte effettuate sulla base del tranng set (errore che, se calcolato sul tranng set, può essere arbtraramente rdotto dando luogo a overfttng): tale errore vene denomnato errore d valdazone. Come s può vedere, l errore nell approssmazone del tranng set dmnusce (come gà osservato) al crescere d d, fno ad annullars per d = 9. Al contraro, l approssmazone del valdaton set, l errore d valdazone, peggora da un certo punto n po per effetto dell overfttng. In modo duale, s può osservare come, dato un modello con un certo numero d parametr (10, corrspondent a d = 9 nel nostro caso), l fenomeno dell overfttng vada a svanre al crescere della dmensone del tranng set. Nella fgura sotto, sono rportat polnom d 9 grado dervat da tranng set d 15 e 100 punt, rspettvamente, e s può notare come, al crescere della dmensone del tranng set, mglor l approssmazone della funzone. Un ulterore effetto dell overfttng è l assegnazone d valor numerc elevat a coeffcent del modello, valor necessar per ottenere l andamento della funzone che attraversa (o approssma fortemente) punt nel tranng set. Se osservamo valor de coeffcent per modell precedent, rportat qu sotto, vedamo come al crescere d d tal valor possono essere decsamente elevat. Per lmtare l effetto dell overfttng, può essere opportuno aggungere alla funzone d costo un termne d regolazone che tenda a far rmanere suffcen- n r Fgura 11. Effetto d overfttng.

15 1.1: Modell lnear d regressone 15 Fgura 12. Overfttng al crescere del tranng set. d = 0 d = 1 d = 3 d = 9 ˆβ ˆβ ˆβ ˆβ ˆβ ˆβ ˆβ ˆβ ˆβ ˆβ temente lmtat valor de coeffcent n goco: C X,y (β) = C X,y (β)+λe(β) l coeffcente λ prende l nome d coeffcente d regolazone. Ad esempo, possamo defnre la funzone d costo da mnmzzare come C X,y (β) = 1 2 (β T φ () y ) 2 + λ 2 M j=0 β 2 j = 1 2 (Φβ y)t (Φβ y)+ λ 2 βt β S può mostrare, applcando lo stesso procedmento descrtto sopra per l caso C X,y (β) = 1 2 (Xβ y)t (Xβ y), che l mnmo s ha per β = (λi+φ T Φ) 1 Φ T y In tabella rportamo coeffcent ottenut mnmzzando C X,y (β) per dvers valor d λ, nell esempo precedente, con d = 9. Nella fgura sottostante vengono po vsualzzate le curve d approssmazone per cas lnλ = 18 e λ = 1 Fgura 13. Approssmazone n regressone lneare con regolazone.

16 16 1 Regressone lneare λ = 0 lnλ = 18 λ = 1 ˆβ ˆβ ˆβ ˆβ ˆβ ˆβ ˆβ ˆβ ˆβ ˆβ Come s può vedere, ponendo lnλ = 18 l overfttng è scomparso e la funzone polnomale trovata appare una approssmazone d y = sn 2π d quella corrspondente a λ = 0. Al tempo stesso, vedamo come, per valor d λ pù grand (come per l caso λ = 1 n fgura), l effetto del termne d regolazone dventa troppo consstente, rspetto a quello determnato dalla funzone d costo, e l approssmazone peggora. Tutto cò può essere vsualzzato nella fgura 14, dove vene rportato l andamento della funzone E RMS per tranng set e valdaton set descrtt sopra, nel caso d = 9, al crescere d λ. Come s può verfcare, l ntroduzone del termne d errore (λ 0) porta a una dmnuzone nzale sostanzale dell errore sul valdaton set, facendolo po crescere successvamente, per valor pù grand d λ. Al tempo stesso, come c s può aspettare, l errore rspetto al tranng set aumenta n modo monotono al crescere d λ. Il termne d regolazone ntrodotto sopra può essere generalzzato come λ 2 d β j q j=0 r Fgura 14. Errore n regressone lneare con regolazone, n funzone d λ. che, al varare d q, fornsce termn d regolazone dvers, tra qual abbamo sopra consderato quello corrspondente al caso q = 2. Una certa mportanza rveste anche l caso q = 1, noto come lasso n letteratura, l quale presenta la propretà che, per λ suffcentemente grande, alcun termn β sono portat a 0, conducendo ad una approssmazone sparsa, n cu soltanto alcune funzon base concorrono. Al fne d ndvduare l mglor valore per λ, un approcco molto comune è quello d verfcare un nseme λ 1,λ 2,...,λ t d possbl valor d λ determnando teratvamente per ogn λ l corrspondente modello (e qund coeffcent β), utlzzando l tranng set, valutando l errore d valdazone per tale modello, usando l valdaton set, e selezonando l valore d λ che fornsce un modello l cu errore d valdazone è mnmo (tra quell consderat) La decomposzone errore sstematco-varanza Come vsto, nell effettuare una regressone lneare l prmo passo consste nello sceglere uno specfco estmatore y() del valore y per ogn nput. Oltre a cò, è necessaro defnre anche una funzone d costo C(y, y()): l rscho nella scelta d y() come stmatore è allora dato dal costo medo rspetto a tutt possbl element (features e output) E,y [C(y,y())] = C(y, y())p(, y)ddy

17 1.1: Modell lnear d regressone 17 Una scelta comune, come vsto, per la funzone d costo è la funzone d costo quadratca C(y,y()) = (y() y) 2 Voglamo sceglere uno stmatore y() che mnmzz l rscho: a tal fne osservamo che C(y,y()) = (y() y) 2 = ((y() E y [y ])+(E y [y ] y)) 2 = (y() E y [y ]) 2 +2(y() E y [y ])(E y [y ] y)+(y E y [y ]) 2 dove E y [y ] è l valore medo d y osservato n corrspondenza a pù osservazon dell elemento con features (s rcord la presenza d rumore, che fa sì che tale valore possa essere dverso). Qund, E,y [C(y,y())] = C(y, y())p(, y)ddy y = (y() E y [y ]) 2 p(,y)ddy y + 2(y() E y [y ])(E y [y ] y)ddy y + (y E y [y ]) 2 p(,y)ddy y Allora, (y() E y [y ]) 2 p(,y)ddy = ( ) (y() E y [y ]) 2 p(,y)dy d y y ) = ((y() E y [y ]) 2 p(, y)dy d = (y() E y [y ]) 2 p()d y Inoltre, dato che p(,y) = p(y )p(), 2(y() E y [y ])(E y [y ] y)p(,y)ddy y = 2 (y() E y [y ])(E y [y ] y)p(y )p()ddy = 2 = 2 y ( ) (y() E y [y ])(E y [y ] y)p(y )dy p()d y ( ) (y() E y [y ]) (E y [y ] y)p(y )dy p()d y ( = 2 (y() E y [y ]) ( = 2 (y() E y [y ]) E y [y ] Infne, (y E y [y ]) 2 p(,y)ddy = = y y E y [y ]p(y )dy y y ) yp(y )dy p()d ) p(y )dy E y [y ] p()d = 0 y (y E y [y ]) 2 p(y )p()ddy ( ) (y E y [y ]) 2 p(y )dy p()d = σy 2 p()d y

18 18 1 Regressone lneare Da tutto cò derva che l costo atteso è E,y [C(y,y())] = (y() E y [y ]) 2 p()d+ = E [(y() E y [y ]) 2 ]+E [σ 2 y ] σ 2 y p()d l prmo addendo E [(y() E y [y ]) 2 ] descrve l contrbuto all errore dato dalla scelta d y(), e vene mnmzzato (n effett azzerato) sceglendo come stmatore la meda condzonata, E y [y ]: s osserv però che la funzone d E y [y ], denomnata funzone d regressone, è però sconoscuta. Il secondo addendo rappresenta la varanza meda d y al varare d, è ndpendente da y(), e descrve l rumore ne dat: esso non può qund essere modfcato dalla scelta d y(), ed è qund ntrnseco a dat. La funzone d regressone E y [y ] è, come detto sopra, sconoscuta e può essere dervata a partre da dat d tranng. In lnea d prncpo, avendo dsponbltà d una quanttà ndefnta d dat d tranng (oltre che d adeguata capactà d calcolo), tale funzone potrebbe essere dervata n modo arbtraramente precso ma, n presenza d dat d tranng lmtat, la conoscenza della funzone d regressone sarà necessaramente approssmata e, qund, la valutazone del costo medo dovrà tener conto, come vedremo ora, d questa approssmazone. Consderamo un nseme d tranng set, ognuno composto d n element estratt ndpendentemente sulla dstrbuzone p(, y). A partre da un partcolare tranng set T, l algortmo d learnng utlzzato derverà uno stmatore y(, T ): le prestazon dell algortmo d learnng saranno allora msurate n termn d valore atteso, rspetto al tranng set consderato, d y(, T ): ndchamo con E T [y(,t )] tale valore atteso. Se consderamo l prmo termne nell espressone del costo atteso, avremo che, per un partcolare tranng set T, esso prende la forma (y(,t ) E y [y ]) 2 p()d = (y(,) E T [y(,t )]+E T [y(,t )] E y [y ]) 2 p()d = (y(,t ) E T [y(,t )]) 2 p()d+ (E T [y(,t )] E y [y ]) 2 p()d +2 (y(,t ) E T [y(,t )])(E T [y(,t )] E y [y ])p()d e, prendendo l valore atteso d tale espressone rspetto a T, E T [(y(,t ) E y [y ]) 2 ]p()d = E T [(y(,t ) E T [y(,t )]) 2 ]p()d+ E T [(E T [y(,t )] E y [y ]) 2 ]p()d +2 E T [(y(,t ) E T [y(,t )])(E T [y(,t )] E y [y ])]p()d = E T [(y(,t ) E T [y(,t )]) 2 ]p()d+ (E T [y(,t )] E y [y ]) 2 p()d +2 (E T [y(,t )] E y [y ])E T [(y(,t ) E T [y(,t )])]p()d = E T [(y(,t ) E T [y(,t )]) 2 ]p()d+ (E T [y(,t )] E y [y ]) 2 p()d

19 1.1: Modell lnear d regressone 19 Indchamo l termne (E T [y(,t )] E y [y ]) 2 p()d come errore sstematco (o bas): esso msura l quadrato della dfferenza attesa (sull elemento ) tra l valore resttuto dallo stmatore dervato n meda applcando l algortmo d learnng a dvers tranng set e l valore effettvo della funzone d regressone: sostanzalmente, esso fornsce qund una ndcazone della rspondenza dello stmatore dervato rspetto alla funzone d regressone. Il termne E T [(y(,t ) E T [y(,t )]) 2 ]p()d è detto varanza, e msura d quanto le soluzon fornte dagl stmator dervat da dvers tranng set varano ntorno alla loro meda: esso ndca qund quanto sano dvers stmator dervat da dvers tranng set. L obettvo che c ponamo è evdentemente quello d mnmzzare la somma errore sstematco+varanza : possamo però renderc conto dell esstenza d un trade-off tra queste due grandezze. Ad esempo, consderamo l caso della funzone y = sn2π e supponamo che y() sa dervable da un tranng set d 25 punt, estratto da una collezone d L = 100 dvers nsem d punt con ascssa generata unformemente n (0, 1) e ordnata dervata aggungendo un rumore gaussano al valore sn 2π. Supponamo che, per ogn tranng set T, la funzone h () venga dervata mnmzzando la funzone d costo regolarzzata C X,y (β) = 1 2 (Φβ y)t (Φβ y)+ λ 2 βt β La fgura 15 mostra a snstra un possble andamento delle 100 funzon h () dervate a partre da 100 tranng set T, = 1,...,100 ponendo lnλ = 2.6, e a destra la funzone rsultante dalla meda delle h (), nseme alla y = sn2π. Fgura 15. Trade-off errore sstematco/varanza. Come s può vedere, le funzon h () tendono a non dscostars molto l una dall altra (varanza bassa), ma la loro meda è puttosto lontana dalla funzone da approssmare (errore sstematco alto). Mostramo po le stesse funzon dervate con lnλ = 0.31 e con lnλ = 2.4. Possamo osservare come, al dmnure d λ, la varanza aument (le curve h () tendono ad essere dverse tra loro), mentre l errore sstematco dmnusce (la loro meda approssma meglo y = sn 2π). Rcordamo comunque come la presenza del termne d rumore E [σy 2 ] ponga un lmte alla approssmabltà d y = sn2π. Nella fgura 17 rportato l andamento dell errore sstematco (lnea contnua), della varanza (lnea tratteggata) e della loro somma (lnea a puntn) al crescere d λ: possamo notare che, n effett, l errore sstematco aumenta al crescere del coeffcente d regolazone, mentre la varanza dmnusce. La loro somma presenta un mnmo n corrspondenza al valore ottmo d λ. r Fgura 17. Andamento d errore sstematco e varanza al crescere d λ nell esempo consderato.

20 20 1 Regressone lneare Fgura 16. Ancora sul trade-off errore sstematco/varanza Regressone lneare e statstca bayesana Come osservato n precedenza, l utlzzo del crtero d massma verosmglanza per la determnazone de parametr del modello tende tpcamente ad essere soggetto al problema dell overfttng, n partcolare n presenza d tranng set d dmenson non elevate (n rapporto al numero d parametr). Per controllare la complesstà del modello, un approcco d tpo bayesano, nvece d fare uso del termne d regolazone E(β), ntroduce una dstrbuzone che rappresenta la nostra valutazone a pror (prma dell osservazone del tranng set) de valor de coeffcent β p(β α) = M =0 ( α 1/2 ( ep 2π) α ) 2 β2 che equvale ad assumere che β sa dstrbuto secondo una gaussana multvarata ( 1 f( µ,σ) = (2π) n/2 Σ 1/2ep 1 ) 2 ( µ)t Σ 1 ( µ) con parametr µ = 0 Σ = α α α 1 d una stuazone, qund, n cu s assume che coeffcent β sano tra loro ndpendent e tutt dstrbut allo stesso modo, secondo una gaussana a meda 0 e varanza σ 2 = α 1. Come s può osservare, la dstrbuzone a pror è defnta n modo parametrco, utlzzando l perparametro α, che, essendo nversamente proporzonale alla varanza, msura l grado d certezza nella valutazone de valor d β. In precedenza abbamo vsto come, data la funzone d costo e l coeffcente d regolazone, sa possble effettuare una stma d punto per coeffcent β, vale a dre determnare un valore per tal coeffcent. Quel che ora è nvece possble fare, n presenza d una dstrbuzone a pror su valor de coeffcent

21 1.1: Modell lnear d regressone 21 e della lkelhood p(y Φ,β,σ) = n 1 ep ( (y β T φ( )) 2 ) 2πσ 2σ 2 è determnare una dstrbuzone a posteror per coeffcent β applcando l teorema d Bayes p(β y,φ,α,σ) = p(y Φ,β,σ)p(β α) p(y Φ,α,σ) p(y Φ, β, σ)p(β α) Dato che sap(y Φ,β,σ) chep(β α) sono gaussane, allora anchep(β y,φ,α,σ) è gaussana e, rcordando che se,y sono tal che Normal(µ,Σ 1 ) y Normal(A+b,Σ 2 ) allora con y Normal(µ,Σ) µ = (Σ 1 1 +A T Σ 1 2 A) 1 (A T Σ 1 2 (y b)+σ 1 1 µ) Σ = (Σ 1 1 +A T Σ 1 2 A) 1 osservamo che, nel nostro caso, = β, A = Φ, b = 0, Σ 2 = σ 2 I, µ = 0, Σ 1 = α 1 I, ottenamo che p(β y,φ,α,σ) ha matrce d covaranza e vettore delle mede Σ = (αi+φ T σ 2 IΦ) 1 = (αi+σ 2 Φ T Φ) 1 µ = (αi+φ T σ 2 IΦ) 1 (Φ T σ 2 Iy+αI0) = (αi+σ 2 Φ T Φ) 1 σ 2 Φ T y = σ 2 (αi+σ 2 Φ T Φ) 1 Φ T y = σ 2 ΣΦ T y Una volta nota la dstrbuzone a posteror de coeffcent β, possamo pensare d consderare come valor da assegnare a tal coeffcent valor corrspondent al vettore che massmzza la probabltà rspetto alla dstrbuzone p(β y,φ,α,σ) stessa: tale vettore è detto MAP (mamum a posteror). Indvduare l massmo d p(β y,φ,α,σ) rspetto a β equvale, dato che l denomnatore nel teorema d Bayes è ndpendente da β, a massmzzare l numeratore, vale a dre l prodotto tra p(y Φ,β,σ) e p(β α) o, n modo equvalente, a mnmzzare l negatvo del logartmo del prodotto: logp(y Φ,β,σ) logp(β α) non consderando termn costant rspetto a β, che non hanno effetto a fn della mnmzzazone, ottenamo E MAP (β) = 1 2σ 2 (y β T φ( ))+ α 2 βt β come s può vedere, cò equvale ad applcare un coeffcente d regolazone λ = σ 2 α.

22 22 1 Regressone lneare In realtà, è possble anche consderare dstrbuzon a pror gaussane general β Normal(µ 0,Σ 0 ): n questo caso, s ha ancora che p(β y,φ,µ 0,Σ 0,σ) ha dstrbuzone gaussana. Osservando che, rspetto al caso generale, = β, A = Φ,b = 0,Σ 2 = σ 2 I, µ = µ 0,Σ 1 = Σ 0, ottenamo chep(β y,φ,µ 0,Σ 0,σ) ha matrce d covaranza e vettore delle mede Σ = (Σ 1 0 +Φ T σ 2 IΦ) 1 = (Σ 1 0 +σ 2 Φ T Φ) 1 µ = (Σ 1 0 +Φ T σ 2 IΦ) 1 (Φ T σ 2 Iy+Σ 1 0 µ 0) = (Σ 1 0 +σ 2 Φ T Φ) 1 (σ 2 Φ T y+σ 1 0 µ 0) = Σ(σ 2 Φ T y+σ 1 0 µ 0) L approcco bayesano può essere applcato anche n una stuazone n cu la conoscenza del tranng set avvene n modo ncrementale, un elemento dopo l altro (sequental learnng). Partamo dall osservazone che, se la dstrbuzone a pror e la lkelhood sono gaussane, la dstrbuzone a posteror rmane anch essa gaussana. Inoltre, se consderamo due tranng set ndpendent T 1,T 2, che assumamo vengano conoscut n sequenza, abbamo p(β T 1,T 2 ) p(t 1,T 2 β)p(β) = p(t 2 β)p(t 1 β)p(β) p(t 2 β)p(β T 1 ) dove p(β) è la dstrbuzone a pror, prma dell osservazone de tranng set, p(β T 1 ) è la dstrbuzone a posteror dell osservazone d T 1 e p(t 2 β) è la lkelhood dt 2. Qund, la dstrbuzone a posteror dell osservazone dt 1 può essere utlzzata come dstrbuzone a pror, nseme alla lkelhood del nuovo tranng set osservato, per una nuova applcazone del metodo. In generale, per una successone T 1,...,T n d tranng set osservat, avremo p(β T 1,...T n ) p(t n β)p(β T 1,...T n 1 ) p(β T 1,...T n 1 ) p(t n 1 β)p(β T 1,...T n 2 )... p(β T 1 ) p(t 1 β)p(β) Consderamo ad esempo l caso d una varable d nput, una varable d output y e una regressone lneare y(,w 0,w 1 ) = w 0 + w 1. Nel nostro esempo, dat sono generat dalla funzone y = a 0 + a 1 (con a 0 = 0.3 e a 1 = 0.5) sceglendo valor n modo unforme n [ 1,1], valutando y e aggungendo rumore gaussano con µ = 0 e σ = 0.2. Assumamo, seguendo quanto esposto sopra, che la dstrbuzone a pror p(w 0,w 1 ) de coeffcent sa una gaussana bvarata con µ = 0 e Σ = σ 2 I = 0.04I: n fgura 18 sono mostrate la dstrbuzone e un nseme d 6 rette camponate da essa. Fgura 18. Dstrbuzone a pror d w 0 e w 1 e rette camponate da essa. In fgura 19 è llustrato come tale dstrbuzone, e l conseguente camponamento su d essa d rette, var al crescere del numero d punt osservat.

23 1.1: Modell lnear d regressone 23 L osservazone d un elemento ( 1,y 1 ) del tranng set (corrspondente al punto contrassegnato da un cercho nell mmagne a destra n prma rga nella 19), determna una dstrbuzone a posteror per p(w 0,w 1 1,y 1 ) mostrata a snstra nella stessa rga: a destra è fornto un nseme d 6 rette camponate su tale dstrbuzone. L osservazone d un ulterore elemento ( 2,y 2 ) del tranng set (corrspondente all ulterore punto contrassegnato da un cercho nell mmagne a destra n seconda rga d fgura 19), determna una dstrbuzone a posteror per p(w 0,w 1 1,y 1, 2,y 2 ) mostrata a snstra nella stessa rga: a destra è fornto un nseme d 6 rette camponate su tale dstrbuzone. Dopo l osservazone d n element ( 1,y 1 ),...( n,y n ) del tranng set (corrspondent a punt contrassegnat da un cercho nell mmagne a destra nell ultma rga d fgura 19), è stata determnata una dstrbuzone a posteror per p(w 0,w 1 1,y 1,..., n,y n ) mostrata a snstra nella stessa rga: a destra è fornto un nseme d 6 rette camponate su tale dstrbuzone. Fgura 19. Andamento della dstrbuzone d w 0 e w 1 e delle rette camponate da essa. Come s può osservare, al crescere del numero d element osservat la dstrbuzone dw 0 ew 1 tende sempre pù a spostars verso una meda corrspondente al punto a 0,a 1 e, al tempo stesso, la varanza dmnusce, concentrando la dstrbuzone ntorno alla meda. Allo stesso tempo, n conseguenza d cò, le rette estratte camponando la dstrbuzone tendono sempre pù a concentrars ntorno ad una unca soluzone, che s avvcna alla retta y = a 0 +a 1. In fgura 20 lo stesso processo vene mostrato per un problema d regressone lneare con funzon d base gaussane. La prma colonna mostra l tranng set, con gl element osservat evdenzat; la seconda colonna mostra la dstrbuzone per due coeffcent w 0,w 1 relatv alle gaussane evdenzate nella prma colonna; la terza colonna mostra campon estratt dalla dstrbuzone attuale de coeffcent, con la soluzone corrspondente alla MAP. Come vsto, nell approcco classco (frequentsta) l valore ˆβ LS per coeffcent β vene appreso effettuando una stma puntuale medante mnmzzazone della funzone quadratca d costo (e equvalentemente, d massmzzazone della lkelhood), eventualmente regolarzzata: tale valore vene po utlzzato, dato un valore, per effettuare la prevsone y = ˆβ T LS. Nell approcco bayesano, così come esamnato fnora, vene determnata la dstrbuzone a posteror p(β y,φ,α,σ) e su questa effettuata ancora una

24 24 1 Regressone lneare stma puntuale, valutando l valore atteso ˆβ MAP della dstrbuzone a posteror (MAP): come osservato sopra, due approcc sono equvalent, n quanto ˆβ MAP corrsponde a ˆβ LS nel caso λ = σ 2 α. La predzone, dato un valore, è una dstrbuzone d probabltà gaussana p(y ˆβ MAP,σ 2 ) per y, con meda β MAP T e varanza σ 2. La meda d tale dstrbuzone è comunque par al valore calcolato secondo l approcco classco. Come s può vedere, la dstrbuzone d probabltà per y non è dervata drettamente dalla dstrbuzone a posteror p(β y, Φ, α, σ), ma è nvece costruta a partre dal valore atteso d tale dstrbuzone e dalla varanza del rumore ntrnseco ne dat, assunta per potes. Fgura 20. Apprendmento sequenzale per regressone lneare con funzon d base gaussane. Un approcco completamente bayesano opera nvece defnendo la dstrbuzone d probabltà predttva per y, ottenuta come dstrbuzone margnale ntegrando rspetto a β l prodotto della dstrbuzone condzonata (d y rspetto a β) p(y,β,σ 2 ), che caratterzza la probabltà d y una volta fssat coeffcent β (e, naturalmente, valor delle features), e della dstrbuzone d β a posteror della conoscenza del tranng set, p(β y,φ,α,σ 2 ). Il prodotto rsultante defnsce la probabltà congunta d y e β che, margnalzzato rspetto a β, fornsce la dstrbuzone voluta p(y,y,φ,α,σ 2 ) = p(y,β,σ 2 )p(β y,φ,α,σ 2 )dβ Dato che p(y, β, σ) è gaussana, così come anche p(β y, Φ, α, σ) (assunto che sa gaussana la dstrbuzone a pror p(β α)), e n partcolare y,β,σ Normal(φ() T β,σ 2 ) β y,φ,α,σ Normal(σ 2 ΣΦ T y,σ)

25 1.1: Modell lnear d regressone 25 dove Σ = (αi + σ 2 Φ T Φ) 1, allora anche p(y,y,φ,α,σ 2 ) è gaussana e, rcordando che se,y sono tal che Normal(µ,Σ 1 ) y Normal(A+b,Σ 2 ) allora con y Normal(µ,Σ) µ = Aµ+b Σ = Σ 2 +AΣ 1 A T osservamo che, nel nostro caso, = β, A = φ() T, b = 0, Σ 2 = σ 2, µ = σ 2 Σ 1 Φ T y, Σ 1 = (αi + σ 2 Φ T Φ) 1, ottenamo che p(y,y,φ,α,σ 2 ) ha varanza σ 2 = σ 2 +φ() T Σ 1 φ() e meda µ = φ() T σ 2 Σ 1 Φ T y = σ 2 φ() T Σ 1 Φ T y Dove nella caratterzzazone della varanza l termne σ 2 è relatvo all ncertezza ntrnseca ne dat osservat, mentre l termne φ() T Σ 1 φ() rflette l ncertezza rspetto a valor dervat per coeffcent β. È possble dmostrare che, al crescere del numero d element nel tranng set, l secondo termne della varanza dmnusce, e qund la dstrbuzone tende a concentrars ntorno al valore prevsto per y. Al lmte, al crescere ndefnto della dmensone del tranng set, l solo prmo termne rmane sgnfcatvo, mostrando che la sola ncertezza rmanente è quella relatva a dat osservat. In Fgura 21. Esempo d dstrbuzone predttva. fgura 21, sono llustrat esemp d dstrbuzon predttve relatve alla funzone y = sn 2π, utlzzando un modello con 9 funzon base gaussane, consderando 1,2,4,25 element nel tranng set. Nelle mmagn a snstra, sono mostrat,

26 26 1 Regressone lneare oltre agl element nel tranng set (generat casualmente e aggungendo rumore gaussano al valore corretto), l andamento della meda della dstrbuzone predttva (curva n colore rosso) e della varanza della dstrbuzone stessa (la regone a sfondo rosa s estende fno a una devazone standard dalla meda). S not come l ncertezza della predzone (così come la meda) dpenda da e sa mnore nelle vcnanze degl element del tranng set, e come l ncertezza dmnusca al crescere del tranng set. Le mmagn a destra mostrano, per gl stess element nel tranng set, gl andament d 5 possbl curve approssmant y = sn 2π, generate medante camponamento sulla dstrbuzone a posteror p(β y,φ,α,σ 2 ). S può vedere che, coerentemente a quanto mostrato nelle mmagn a snstra, al crescere del tranng set l ncertezza dmnusce, e le vare curve camponate tendono ad approssmare sempre meglo la curva nzale. Osservando ora che l valore medo della dstrbuzone predttva, utlzzato come prevsone dell output (dat valor delle features) può essere rscrtto come y() = σ 2 φ() T Σ 1 Φ T y = σ 2 φ() T Σ 1 φ( )y e qund, l valore dervato può essere vsto come combnazone lneare de valor y degl element del tranng set y() = κ(, )y dove la funzone d e κ(, ) = σ 2 φ() T Σ 1 φ( ) è denomnata kernel equvalente. In fgura 22 è mostrato, a destra, l andamento sul pano (, ) d un esempo d funzone d kernel equvalente generata da un tranng set d 200 element. A snstra, l andamento della curva per tre dvers valor d. Come s può vedere, la funzone d kernel tende a dare, per la determnazone del valore y(), maggore rlevanza a valor y relatv a element vcn a, effettuando una localzzazone delle funzon base ntorno a punt del tranng set. Fgura 22. Esempo d funzone d kernel equvalente per funzone d base gaussana e una sola feature, con esempo per tre valor d. Cò è anche evdenzato consderando la covaranza tra valor y() e y( ) dervat per due element, : Cov[φ() T β,β T φ( )] = E[φ() T ββ T φ( )] E[φ() T β]e[β T φ( )] = φ() T E[ββ T ]φ( ) φ() T E[β]E[β T ]φ( ) = φ() T ( E[ββ T ] E[β]E[β T ] ) φ( ) = φ() T Cov[ββ T ]φ( ) = φ() T Σ 1 φ( ) = σ 2 κ(, )

27 1.1: Modell lnear d regressone 27 Dal che possamo osservare come la covaranza (e qund la relazone tra valor d output calcolat per due element) sa proporzonale al valore della funzone d kernel equvalente, l che c dce che element vcn avranno valor molto correlat, mentre per element lonatn valor calcolat saranno sostanzalmente ndpendent. Fgura 23. Esempo d funzon d kernel equvalente per funzon d base polnomale (a snstra) e sgmodale (a destra). In fgura 23 vene mostrato come anche kernel equvalent per funzon d base dverse (polnomal e sgmodal) abbano la stessa propretà d localzzazone ntorno a (n questo caso consderando = 0).