Sistemi Intelligenti Relazione tra ottimizzazione e statistica - IV Alberto Borghese

Transcript

1 Sstem Intellgent Relazone tra ottmzzazone e statstca - IV Alberto Borghese Unverstà degl Stud d Mlano Laboratory of Appled Intellgent Systems (AIS-Lab) Dpartmento d Informatca borghese@dunmt Anals dell affdabltà della stma Sommaro Metodo del gradente Lnearzzazone e metodo d Gauss-Newton /3

2 Valutazone della bontà della stma (A *A ) - A * b <> mn X ν k k mn ( X A b) Errore d modellzzazone Gaussano a meda nulla N(, ) <v k > ˆ ( ν ) v M k k Varanza della stma varanza dell errore d msura 3/3 Valutazone della bontà della stma del sngolo parametro (A *A ) - A * b CA * b M ( ) m m ˆ ν Chamamo u e v le varabl casual assocate all errore su parametr e all errore d modellzzazone, rspettvamente S suppone errore a meda nulla e Gaussanamente dstrbuto u ( u) C A (b v) CA b u C A * v E[u] C è la matrce d covaranza 4/3

3 Impostazone del calcolo della correlazone tra parametr u C A v Voglamo ndvduare la correlazone tra due parametr e Devo qund determnare la loro correlazone: u uu uw u u u <u, u > u C A v > u v A (C) u u W u u uw uuw uw uu C A vv A C > Applcando l operatore d meda, s ottene: <uu > C A <vv >A C Dato che v sono resdu, e sono ndpendent, e tutte punt d controllo hanno lo stesso tpo d errore d msura, s avrà che <vv > I 5/3 Incertezza sulla stma de parametr <uu > CA IA C C <u u> C Segue che: (u ) c Varanza sulla stma del parametro Spegazone ntutva: a 3 y nose Calcolo come: y * a - 3 Quanto è sensble questa stma? Cosa succede se, per effetto del nose, nvece d msurare y, msuro y v? varerà d v *a - Il rumore vene coè moltplcato per a - 6/3 3

4 4 7/3 Matrce d covaranza Date N varabl casual: [,, N ] s può msurare la correlazone tra coppe d varabl E comodo rappresentare la correlazone tra varabl casual n un unca matrce detta matrce d covaranza come: C N N N N N N Varanza: Covaranza: N parametr (N-) / parametr 8/3 Correlazone tra coppe d parametr Date due varabl casual:,, l ndce d correlazone msura quanto le coppe d varabl estratte: p(, ) stanno su una retta: M M M r Defnendo la covaranza tra ed come: ( )( ) M M N Dalla defnzone d devazone standard rsulta: r - r

5 Correlazone tra parametr <uu > CA IA C C <u u> C Da cu s gustfca l nome d matrce d covaranza per C Segue che: (u ) c Varanza sulla stma del parametro r < u < u u > > < u > c c c Indce d correlazone tra l parametro ed l parametro (emprcamente s scartano parametr quando la correlazone è superore al 95%) Vanno rapportat alle dmenson de parametr convolt 9/3 La covaranza: moment d varabl statstche Covaranza E[( µ ) (y µ y )] Varanza E[( µ ) ( µ )] Per due varabl ndpendent, la covaranza, non varano asseme (covarano) C y y y >> randn(n,); >> y randn(n,); >> temp *y; >> covaranza mean(temp) /3 5

6 Msura d correlazone su parametr Msura la nter-dpendenza tra varabl statstche: y y c ( k µ )( yk µ y ) k lm N > ( k µ ) ( yk µ y ) k k >> randn(n,); >> y randn(n,); >> y ; >> temp *y; >> temp *y; >> covaranza mean(temp)% Uncorrelated varables(c -> ) >> covaranza mean(temp)% Correlated varables (c ) /3 N punt o m reale q reale C m stmato 993 q stmato 6 Altra realzzazone del rumore: Caso D y m q C m stmato 9937 q stmato 95 (m) c 7 * 7 > 4 (q) c 55 * 5 > /3 6

7 N punt o m reale q reale Caso D less ponts 3 C m_stmato 8 q_stmato 966 C m_stmato q_stmato y m q Dmnusce la confdenza nella stma 3/3 N punt o m reale q reale Caso D more ponts 3 C m_stmato 994 q_stmato y m q Aumenta la confdenza nella stma 4/3 7

8 Caso D even more ponts N punt o m reale q reale 6 C m_stmato 39 q_stmato y m q Aumenta la confdenza nella stma 5/3 Sommaro Anals dell affdabltà della stma Metodo del gradente Lnearzzazone e metodo d Gauss-Newton 6/3 8

9 Mnmzzazone tramte gradente (metodo del prmo ordne): varable Tecnca del gradente applcata alla mnmzzazone d funzon nonlnear d una varable,, e d un parametro, w: f f ( w) P n PII f P mn La dervata, m dà due nformazon: ) In quale drezone d w, la funzone decresce ) Quanto rapdamente decresce Defnsco uno spostamento arbtraro lungo la pendenza della funzone f (eg errore) nello spazo de parametr w: maggore la pendenza maggore lo spostamento dw -f (w;p) dat P, w La dervata vene calcolata rspetto a w Occorre un nzalzzazone Metodo teratvo w 7/3 Esempo d applcazone tecnca del gradente per funzon d varable Supponamo che l modello da no consderato sa semplce: y a Abbamo un unco parametro da determnare: a La funzone è lneare n a (la soluzone è semplce: a y/!!) ma applchamo l metodo del gradente: Msuramo un punto sulla parabola:, y 3 Voglamo modfcare a n modo che la parabola pass per P(,y) La funzone costo da mnmzzare sarà: e f(a,y) (y-a ) La soluzone è a 3 Partamo da a n err (3 *)* Utlzzamo l metodo del gradente: Calcolamo la dervata d f(a,y) f (a) - (y a ) e 3 a 8/3 9

10 Mnmzzazone underdampng Consderamo Calcolamo la dervata d f() f () - (y a ) Utlzzamo l metodo del gradente: Passo : Calcolamo l ncremento da dare al parametro a: da -[ - (3 ) ] -[-6 4] a 4 Passo : Calcolamo l ncremento da dare al parametro a: da -[- (3-4 ) ] -[-6 8] - a 4 Oscllazon!!! M sposto troppo velocemente da una parte all altra del mnmo 9/3 Mnmzzazone - pass Consderamo 4 Calcolamo la dervata d f() f () - (y a ) Utlzzamo l metodo del gradente: Passo : Calcolamo l ncremento da dare al parametro a: da -4 [ - (3 ) ] -[-6 4] 8 a 8 8 Passo : Calcolamo l ncremento da dare al parametro a: da - 4 [- (3 8 ) ] -[-6 56] 6 a Converge ad a 3 Posso correre l rscho d spostarm troppo lentamente /3

11 Osservazon Nel metodo del gradente m sposto lungo la tangente alla curva dell errore per raggungere l mnmo Lo spostamento lunga la tangente non m porta al mnmo drettamente Se m muovo velocemente lo supero Se m muovo lentamente arrve lentamente Esstono algortm che: Verfcano che l sngolo passo d gradente porta a un mgloramento della soluzone Determnano l passo d apprendmento, /3 Sommaro Anals dell affdabltà della stma Metodo del gradente Lnearzzazone e metodo d Gauss-Newton /3

12 Lnearzzazone y f() vene lnearzzata utlzzando l dfferenzale (retta tangente): dy df ( ) f ( o ) d d y o df ( ) d o o d S può vedere come svluppo d Taylor arrestato al ordne E un equazone lneare Per funzon d pù varabl, f(p;w), la lnearzzazone nell ntorno d P, s può scrvere come: F(P;W) F(P o ;W o ) W F() w Po, Wo * dw k - W a * dw E un equazone lneare che descrve l comportamento della funzone F() nell ntorno del punto Po con parametr Wo 3/3 Esempo d sstema" z e O P T y T P (t) f ((t), (t), Τ (t), Τ y (t) l, l ) P y (t) f y ((t), (t), Τ (t), Τ y (t) l, l ) P z (t) f z ((t), (t), Τ (t), Τ y (t) l, l ) 4/3

13 3 5/3 Esempo d sstema" P (t) f ((t), (t), Τ (t), Τ y (t) l, l ) P y (t) f y ((t), (t), Τ (t), Τ y (t) l, l ) P z (t) f z ((t), (t), Τ (t), Τ y (t) l, l ) O z e P T y T Le funzon legano la poszone dell end pont, uscta P, alla poszone degl angol, e e della poszone della base, T, che rappresentano gl ngress 6/3 Rappresentazone lnearzzata Sstema lneare e e y y T T cos ) cos( ) cos( sn ) sn( ) sn( l l l l l l O z e P T y T 9 l,5 l e e y 5 y T T b A

14 Mnmzzazone d funzon d pù varabl mn(f(, w)) funzone costo od errore, w vettore Modfco l valore de pes d una quanttà proporzonale alla pendenza della funzone costo rspetto a quel parametro La pendenza è una drezone nello spazo, non è pù solamente destra / snstra Devo calcolare la dervata spazale gradente della funzone costo, f() Estensone della tecnca del gradente a pù varabl dw - f(;w), dato P, W Serve un approssmazone nzale per pes W n {w } n 7/3 Metodo d Gauss-Newton L dea: Inzalzzazone: Inzalzzo parametr ad un valore nzale Iterazon: ) Lnearzzazone delle equazon ) Stma dell aggornamento de parametr nel modello lnearzzato a mnm quadrat (soluzone ottmale, mnmo del problema lnearzzato) 3) Correzone de parametr Può essere pesante perchè rchede l nversone della matrce d covaranza Spesso s preferscono utlzzare metod d ottmzzazone del prmo ordne 8/3 4

15 In pratca y f() y f( ), y vettor d N ed M element rspettvamente, y valore nzale Iterazone d (nella prma terazone k ): dy k y k (Σδf()/d) k d f( k ) (Σδf()/d) k are numbers! S ottene un sstema lneare Vene rsolto come d k (AA T ) - A T dy k S aggorna l valore d come k k d k Fno a convergenza 9/3 Evoluzone de metod del prmo ordne è un parametro crtco Se è troppo pccolo convergenza molto lenta, se è troppo grande overshootng Ottmzzazone d Ad ogn passo vene calcolato a ottmale, per cu la funzone è decrescente (lne search) 3/3 5

16 Anals dell affdabltà della stma Sommaro Metodo del gradente Lnearzzazone e metodo d Gauss-Newton 3/3 6