TRUST 1. TRUST REGION (Pb min F(x) )

Transcript

1 TRUST 1 TRUST REGION (Pb min F(x) ) A partir da un punto x si costruisc un modllo m (p) = F(x) + F(x) t p + 1/2 p t Bp [B =?, vari possibilita s. B = I, B = D (diagonal), B df pos, B = 2 F(x), B = 2 F(x) + μ I, μ sclto in modo ch B df pos, ] si considra il problma (vincolato, variabil p ) min m (p) con vincolo p Δ (Trust rgion) Da punto x k noto Δ k si - costruic il modllo m(p) - si trova p k minimizzant - si calcola ρ = F(x k )-F(x k +p k ) / m(0) m(p k ) s ρ < 1/4 si pon Δ + = (1/4) Δ k s ρ [1/4, 3/4] si pon Δ + = Δ k s ρ > 3/4 si pon Δ + = 2 Δ k Si ha anch una soglia η, { η (0,1/4) } S altrimnti ρ > η x + = x k + p k x + = x k.

2 TRUST 2 Calcolo di p k ( o di una sua approssimazion ). (MODO 1) (FULL STEP) S B dfinita positiva m (p) = F(x) + Bp s B dfinita positiva p Β = -B 1 F(x) S p Β Δ p Β la soluzion (FULL STEP) (MODO 2) (CAUCHY POINT) S non si considra il contributo 1/2 p t Bp ( piccolo?) il problma min m(p) = F(x) + F(x) t p, p Δ, ch ha soluzion p = - F(x) ( Δ / F(x) ) Fissata una dirzion p il passo da compir corrispond a minimizzar m( τp ) = f(τ) = F(x) + F(x) t τp + 1/2 τp t Bτp = τ ( F(x) t p )+1/2 τ 2 ( p t Bp ) S p t Bp 0 il passo dv ssr il piu lungo possibil S p t Bp >0 f τ = F(x) t p +τ ( p t Bp ) f τ = 0 s τ = - ( F(x) t p)/( p t Bp ), τp = p ( F(x) t p)/ ( p t Bp ) = Δ s τp = τ p ( F(x) t p) / ( p t Bp ) = Δ s τ Δ/ p = min { - ( F(x) t p)/( p t Bp ), Δ/ p }

3 TRUST 3 (MODO 3) DOG LEG Pr piccoli valori di τ (piccoli Δ) prval (- F(x) ) pr valori maggiori prval p Β. Si dfinisc p(τ) com [p U = - F(x) ( F(x) t F(x) / F(x) t B F(x) ), p Β = -B 1 F(x) ] p(τ) = τ p U, 0 τ 1, p(τ) = p U + (τ-1)( p Β -p U ), 1 τ 2 S B dfinita positiva allora p(τ) crscnt m(p(τ)) dcrscnt ( unico valor pr cui p(τ) = Δ ch minimizza lungo la traittoria la funzion m(p(τ) ) ) In [0,1] p(τ) crscnt m(p(τ)) = -τ F(x) t p U + (1/2) τ 2 (p U ) t B p U di drivata =cost*( -1+τ ) >0 in [0,1) = ( F(x) t F(x)) 2 / F(x) t B F(x) ( -τ+(1/2) τ 2 ) In 1 τ 2 s α= τ -1 ovvro 1+ α = τ. h(α) = (1/2) p(1+ α) 2 = (1/2) p U + α ( p B -p U ) 2 = (1/2) p U 2 + α (p U ) t ( p B -p U )+ (1/2) α 2 ( p B -p U ) 2 h (α) = - (p U ) t ( p U -p B ) + α ( p B -p U ) 2 h (α) - (p U ) t ( p U -p B ) = [g= F(x) ] (g t g/ g t Bg) g t ( -g (g t g/ g t Bg)+B 1 g) h (α) 0 = (g t g) (g t B 1 g) (g t Bg) 1 [1- (g t g) 2 (g t B 1 g) 1 (g t Bg) 1 ]

4 TRUST 4 [ DIM h (α) 0 Dati du vttori u, v u t v 2 u 2 v 2 u t v 2 = u 2 v 2 u = λ v S B positiva dfinita sist invrtibil B 1/2 g t Bg = (gb 1/2 ) t (B 1/2 g) g t B 1 g = (gb -1/2 ) t (B -1/2 g) g t g = (gb -1/2 ) t (B 1/2 g) (g t g) 2 = g 4 S u = B 1/2 g, v= B -1/2 g u t v 2 u 2 v 2 (g t g) 2 = u t v 2 u 2 v 2 = (g t Bg) (g t B 1 g) [1- (g t g) 2 (g t B 1 g) 1 (g t Bg) 1 ] 0 ] Analogamnt h*(α) = m(p(1+ α) ) [p U + α ( p B -p U )] = g t [p U + α ( p B -p U )]+(1/2) [p U + α ( p B -p U )] t B[p U + α ( p B -p U )] h* (α) = (p B -p U ) t (g+b p U ) + α (p B -p U ) t B ( p B -p U ) h* (α) (p B -p U ) t (g+b p U +B( p B -p U ) ) = (p B -p U ) t (g+b p B ) = 0

5 TRUST 5 (MODO 4) ESATTO Dato problma min f + g t p+ 1/2 pbp vincolo p Δ Pr la soluzion p* sist λ > 0 vrifica (B+λI) p* = -g, λ (Δ- p* ) = 0 B+λI smidfinita positiva [ s h = p(x), h = ( ( x i ) 2 ) 1/2 h = (1/2 )( ( x i ) 2 ) -1/2 ( ( x i ) 2 ) = p/ p Bp* + g + μ ( h) = Bp* + g + ( μ/ p* ) p* = 0 ] λ = μ/ p*, s μ 0 p* = Δ ] S λ>λ 1 = minimo autovalor di B p(λ) = - ( B+λI) -1 g calcolabil p(λ) 2 = ( g t q i ) 2 / (λ+λ i ) 2 dov {λ i, q i } un sistma di autovalori/autovttori di B di ( B+λI) p(λ) dcrscnt ha unico valor pr cui =. Δ Possibl calcolo con Mtodo di Nwton (B+λI) p(λ) = -g (B+λI) p (λ) + p(λ) = 0 & p (λ) = - (B+λI) -1 p(λ) S φ(λ) = 1/ p(λ) - 1/Δ = (Δ p(λ) ) /(Δ p(λ) ) [φ(λ)] = (p(λ) t p(λ)) -1/2 = ( 1/2) (p(λ) t p(λ)) -3/2 (2) p(λ) t p(λ) = p(λ) -3 p(λ) t p(λ) = p(λ) -3 p(λ) t (B+λI) -1 p(λ)

6 TRUST 6 φ(λ)/ [φ(λ)] = (Δ p(λ) ) p(λ) 3 / (p(λ) t (B+λI) -1 p(λ)) (Δ p(λ) ) = =(Δ p(λ) ) p(λ) 2 / p(λ) t (B+λI) -1 p(λ)(δ) = = (Δ p(λ) ) /Δ ( p(λ) 2 / z(λ) 2 ) ( S(B+λI) -1 = LL t = allora p t (B+λI) -1 p = (p t L -t )(L -1 p) = z t z con L -1 p=z ) (mtodo di Nwton ) λ + = λ φ(λ)/ [φ(λ)] = λ (Δ p(λ) ) /Δ ( p(λ) 2 / z(λ) 2 ) Noto λ il calcolo richid Fattorizzar (B+λI), s (B+λI) dfinita positiva allora (B+λI)= LL t Risolvr (B+λI) p(λ) = -g com L(L t p(λ) ) = -g S Δ p(λ) 0 calcolar z (sistma Lz=p) calcolar λ +

7 TRUST 7 L algoritmo (trust rgion ) risulta convrgnt Bisogna supporr F infriormnt limitata, rgolar (C 2 ) matrici B (s divrs ) con norma uniformmnt limitat B β SCHEMA DELLA DIMOSTRAZIONE Si dimostra ch l vari sclt pr il calcolo di p producono un punto p + pr cui si ha m(0) m(p + ) > c1 F(x) min(δ, F(x) / β) [ Val facilmnt pr Cauchy point pr confronto pr altri ) Dalla formula di Taylor si ha F(x + p + ) m(p + ) p + ( β/2 p + + C( p + ) ) dov C(p) 0 s ( p 0 Quindi ρ-1 = F(x + p + ) m(p + ) / (m(0) m(p + )) ( ) Con (**) = / p + (β/2 p + +C( p + ) ) ( c1 F(x) min(δ, F(x) / β) ) 1 Si suppon F(x) ε 0 S Δ 0 anch ( p 0 il valor (β/2 p + +C( p + ) ) puo ssr rso arbitrariamnt piccolo ( Es ε 0 c1 / 4β ) Allora (**) p + (ε 0 c1 / 4β) ) ) ( c1 ε 0 min(δ, ε 0 / β) ) 1 1/4 In tal caso ρ-1 1/4, ρ 3/4 Δ + = 2Δ Quindi Δ non puo scndr sotto un crto valor Δ S val smpr ρ 1/4 allora x k+1 = x k + p + F(x k ) - F(x k + p + ) 1/4 ( m(0) m(p + ) c1 F(x) min (Δ, F(x) / β) s inf F(x) finito lim Δ = 0 ( impossibil s sist soglia Δ ) Allora (infinit volt ) < 1/4 ma in tal caso Δ + = (1/4) Δ ancora lim Δ=0 Quindi non possibil ch F(x) ε 0 lim inf F(x) = 0

8 TRUST 8 MINIMI QUADRATI NON LINEARI S si ha un modllo f(x,t) con t variabil, x paramtri dll ossrvazioni yi corrispondnti ai valori ti si possono formar l funzioni ri(x) = f(x,ti) - yi il miglior valor pr i paramtri x è (pr considrazioni statistich ) il valor ch minimizza F(x) = 1/2 ri(x) 2 Chiaramnt F(x) = ri(x) ri(x) la matric hssiana risulta 2 F(x) = ri(x) ri(x) t + ri(x) 2 ri(x) Il passo prvisto dal mtodo di Nwton sarbb h= - ( 2 F(x) ) -1 F(x) cioè - ( ri(x) ri(x) t + ri(x) 2 ri(x)) -1 ( ri(x) ri(x)) S si tralascia in 2 F(x) la somma di contributi ri(x) 2 ri(x) ci si riduc a ( ri(x) ri(x) t ) -1 ( ri(x) ri(x)) S J è la matric di righ ri(x) r il vrttor di componnti ri(x) il sistma quival a h = - (JJ t ) -1 J r. ( JJ t ) -1 J è la psudoinvrsa di J trovar h quival a risolvr min Jh+r (pr smpio dcomponndo J QR ) Il vttor h può ssr intrprtato com vttor di spostamnto dirzion di ricrca con passo variabil (tipo mtodo dl gradint) Poichè alla soluzion ri(x*) 2 ri(x*) è nullo s il modllo è linar (ma non satto) o s il modllo è satto (ma non linar ) il mtodo è accttabil s il modllo è scarsamnt non linar il rsiduo alla soluzion ( cioè F(x*) ) piccolo I vantaggi dl mtodo sono - uso di soli gradinti valori di funzion - facilità di calcolo - invarianza pr trasformazioni linari (scaling) dll variabili - h è comunqu una dirzion di discsa: la matric ( ri(x) ri(x) t ) smi dfinita positiva

9 TRUST 9 Inoltr è possibil dimostrar ch l'itazion x + = x - (JJ t ) -1 J r non è attirata da punti di slla Un mtodo più sicuro è il mtodo Lvnbrg-Marquardt. Si risolv ad ogni passo il problma min Jh+r, h β ci si sposta di h. Il confonto tra il valor ffttivo qullo prvisto di F(x+h) prmttono di accttar / o rifiutar lo spostamnto. A sconda dlla situazion il valor di β può ssr aumntato o diminuito. Un mtodo di qusto tipo quival a risolvr il problma min { Jh+r + μ h } Lv-Marq (original) si usa la dirzion ()h = NOTA La matric 2 F(x) = ri(x) ri(x) t + ri(x) 2 ri(x) si riduc a 2 F(x) = ri(x) ri(x) t + ri(x) 2 ri(x) s l funzioni ri(x) sono linari o s il mtodo satto( x t. c f(x,ti) - yi = 0 i ) In qusto caso (alla soluzion) 2 F(x) = ri(x) ri(x) t + il mtodo di Nwton si riduc a ( ri(x) ri(x) t ) h = - ( ri(x) ri(x)) [GAUSS -NEWTON] Il mtodo di Lvnbrg-Marqurdt stato proposto com modifica di Gauss-Nwton con 2 F(x) cambiata in ( ( ri(x) ri(x) t ) + μ I ) ( = F modllizzata com...) La prsnza dl fattor (pso) μ I limita la lunghzza di passi