La miglior approssimazione esiste se le funzioni descrivono un chiuso

Transcript

1 NON SMOOTH Funzione non C 1 tipico esempio massimo numero finito funzioni Φ(x) = max { f i (x), i I, f i C 1 } e anche massimo(sup) puntuale Φ(x) = sup { f t (x), t I, f t C 1 } Esempi a) Max numero finito di funzioni (norma) Sono date p funzioni f i (x) 1 i p e si vuole calcolare per ogni punto x si calcola [se f(x) = (f 1 (x),, f p (x) ] Φ(x) = f(x) oppure f(x) 1. b) Pb di approssimazione In un intervallo t [a,b] =I e data una funzione F(t) e alcune funzioni base f i (t), 1 i p. Se ogni funzione pesa a i allora si puo costruire F(t) = a i f i (t) e dato a = (a 1,..., a p ) R p si puo calcolare Φ(a) = max t I G(t) - F(t) = max t I G(t)- a i f i (t) [ esempio massima deviazione : Φ(a) = max t I G(t)- a i f i (t) ] Se a* minimizza allora risolve il problema di miglior approssimazione (norma infinito) di G(t) attraverso funzioni f i (t). Casi tipici polinomi [ f i (t) = (t) i-1 ] esponenziali [ f i (t) = exp (k i t) (k i fissati ) ] E anche possibile una dipendenza non lineare [es f i (a i,b i,t) = a i exp (b i t) (a i e b i variabili ) ] La miglior approssimazione esiste se le funzioni descrivono un chiuso N.B. Minimo funzione convessa (generica) puo essere espresso come non smooth Se F e convessa e definita in A allora y fissato x A F(x) + F (x) t (y-x ) F( y) ( o analogo ) F(y) = sup x A { F(x) + F (x) t (y-x ) } = sup x A { L(x,y) } = θ (y) min F(y) = min θ (y) { θ nonsmooth}

2 Non basta conoscere x I(x) = { i / f i (x)= Φ(x) } e utilizzare normalmente quella(quelle) funzioni Esempio in R 2 Φ(x) = max { f 1 (x), f 2 (x)} f 1 (x) = 5 ( 9x x 2 2 ) 1/2 se x 1 > x 2 f 2 (x) = 9x x 2 se x 1 x 2 Se x 1 < 0 Φ(x) = f 2 (x) = 9x x 2 Φ (x 1,0) = 9x 1 e inf Φ(x) = - Dato un punto p = (x 1, x 2 ) con 1 > x 1 > x 2 > (9/16) 2 x 1 [ x 1 >0, x 2 > 0, Φ(x) = max { f 1 (x), f 2 (x)} = f 1 (x) ] f 1 (p ) = 5(9x x2 2 ) -1/2 (9 x 1, 16 x 2 ) t e s = (9 x 1, 16 x 2 ) t e parallelo a f 1 (p) Si minimizza f 1 (x ) dal punto p in direzione - f 1 (p ) Se p 0 = p e p 1 = p 0 - λs si ha che p 1 = (y 1, y 2 ) = (x 1 - λ 9 x 1, x 2 - λ16 x 2 ) f 1 (p 1 ) t s = 0 9(x 1 - λ 9 x 1 ) 9 x (x 2 - λ16 x 2 )16 x 2 = 0 Inoltre λ = ( 9 2 x x 2 2 ) / ( 9 3 x x 2 2 ) 9 (9 2 x x 2 2 ) < (9 3 x x 2 2 ) < 16(9 2 x x 2 2 ) e quindi 1/16 < λ < 1/9

3 Per le componenti di p 1 = (y 1, y 2 ), y 1 = x 1 - λ 9 x 1 e y 1 >0 {λ< 1/9 } y 1 < (7/16) x 1 < 1 {λ>1/16 & 1 > x 1 } Da f 1 (p 1 ) t s=0 da cui (9) 2 y 1 x 1 = (16) 2 y 2 x 2 y 1 / y 2 = (16/9) 2 x 2 / x 1 > 1 { x 2 > (9)2 /(16) 2 x 1 } e y 2 /y 1 = (9) 2 /(16) 2 (x 1 / x 2 ) > (9) 2 /(16) 2 {da x 1 > x 2 } e vale anche per p 1 = (y 1,y 2 ) 1> y 1 > y 2 > (9/16) 2 y 1 Si puo costruire una successione p n attraverso il metodo del gradiente p n rimane nella regione con 1> x 1 > x 2 > (9/16) 2 x 1 dove Φ( p n ) = f 1 (p n ) 0 La successione (x 1 ) n e positiva e decrescente ( λ>1/16 ), (x 1 ) n 0 e p n (0,0) (0,0) minimizza f 1 ma non Φ In (0,0) f 1 (0,0) = f 2 (0,0) = Φ In (0,0) f 1 = (0,0), f 2 (x) non e definito (causa x 2 ). La derivata direzionale di f 2 si calcola attraverso i vettori (9,16) e (9,-16)

4 Condizioni di ottimo (funzione min max) x I(x) = { i / f i (x) = Φ(x) }, Se insieme I finito e j I(x), f j (y) < Φ(y) in un intorno di x x non e ottimo se esiste h t.c f i (x) t h < 0 i I(x) { i e α >0 opportuno f i (x+ α h) < f i (x), Φ(x+h) = max { f i (x+ α h)} <Φ(x) } Se A matrice righe f i (x) non esiste h t.c Ah <0 per ogni componente ( teorema alternativa / Lemma di Gordan) Esiste vettore non zero p a componenti 0 tc. A t p = 0 Se ( μ 1,..μ n ) componenti di p pesi μ i i I(x) t.c μ i f i (x) = 0 ovvero i I(x) μ i f i (x) = 0, con μ i 0 [μ i non tutti zero,esempio possibile i μ i =1 ] Il Lemma di Gordan e quindi se x minimizza non esiste h e vale i I(x) μ i f i (x) = 0, μ i 0 [& i μ i =1 ] Viceversa se vale i I(x) μ i f i (x) = 0, μ i 0 [& i μ i =1 ] non esiste h e non e possibile in intorno Φ(y)<Φ(x) perche max { f i (y), i I(x) } Φ(y) < Φ(x) = f i (x), i I(x) } e f i (y) < f i (x) f i (x) t (y-x) < 0 i I(x) Nell esempio precedente la funzione Φ(x) = max { f 1 (x), f 2 (x)} puo essere anche Φ(x) =max { f 1 (x), f 2a (x), f 2b (x) } [ f 2 (x) = max { f 2a (x) =9x x 2, f 2b (x) =9x 1-16 x 2 } ] In (0,0 ) f 1 (x)= f 2a (x) = f 2b (x) e la matrice dei gradienti le tre funzioni coincidono e M = [ f 1 f 2a f 2b ] = Mp = 0 non e possibile con pesi p= ( μ 1,μ 2,μ 3 ), μ i 0 & μ 1 +μ 2 +μ 3 =1 ; la funzione Φ(x) scende se la componente x 1 diminuisce [ pesi = (0,1/2, 1/2 ) ]

5 FUNZIONE CONVESSA Il caso piu caratterizzabile e quello in cui tutte le funzioni f i (x) siano convesse In tal caso max { f i (x), i I} = Φ(x) e una funzione convessa Se f i (x) e differenziabile in x allora f i (y) f i (x) + f i (x) t (y-x) y ovvero Φ(y) f i (y) f i (x) + f i (x) t (y-x) = Φ(x) + f i (x) t (y-x) e i vettori f i (x) i I(x) sono dei sottogradienti di Φ(x) e la condizione i I(x) μ i f i (x) = 0, con μ i > 0 significa 0 Φ(x) {sottodifferenziale di Φ in x }. Nel caso convesso si puo applicare un semplice algoritmo Si suppone di conoscere x il valore Φ(x) e un vettore g Φ(x) Si considera una successione λ k λ k > 0, λ k = + (λ k ) 2 < + ( basta porre λ k = 1/k ) Si parte da un punto arbitrario x 1 e si forma la successione x k+1 = x k λ k g k / g k, g k Φ( x k ) [ ~ discesa lungo gradiente con passo che dipende da λ k (fissato) e ] Si suppone che esista un minimo x* per Φ. Per convessita se g Φ(x) Φ(x) + g t (x*-x) Φ(x*) e g t (x*-x) Φ(x*)- Φ(x) <0 Dalle formule allora x k+1 -x* 2 = x k -x* (λ k / g k ) g k 2 = e la successione x k e limitata x k -x* 2 + λ k 2 + 2(λk / g k ) g k t (x*- xk ) x k -x* 2 +λ k 2 x k+1 -x* 2 x 1 -x* 2 + j =1,k (λ j ) 2

6 Vale anche x k+1 -x* 2 = x 1 -x* 2 + j =1,k (λ j ) j =1,k (λ k / g k ) g k t (x*- xk ) e quindi lim inf g k t (x*-xk ) / g k = 0, [ λ k = +, g t (x*-x) 0, se g k t (x*-xk ) / g k a < 0 la serie diverge ] lim x k -x* = 0 oppure lim g k t (x*-xk ) = 0 ma g k t (x*- xk ) Φ(x*)- Φ( x k ) < 0 e allora lim Φ(x k ) = Φ(x*) Per una sottosuccessione ( x k y punto di ottimo ) e ogni punto limite e punto di ottimo (mettere y al posto di x*) CUTTING PLANE Si possono usare tutte o parte delle informazioni di piu punti (Metodi bundle) Il piu classico e ( Cutting Plane) Si suppone Φ:R n R (x), convessa e di conoscere x il valore Φ(x) e un vettore p Φ(x) [ Se Φ(x) = max { f i (x), i I, f i C 1 } indice j per cui vale Φ(x) = f j (x) e vettore f j (x)] Si ha disposizione un insieme di coppie { (x i p i ), x i R n, p i Φ(x i ), i=1...n+1 } y e possibile calcolare ψ (y)= max { Φ(x i ) + p i t (y-x i ) i =1...n+1 } Se x i e fissato e x k x i allora Φ(x i ) = Φ(x i ) + p i t (x i -x i ) Φ(x k ) + p i t (x i -x k ) Quindi x i ψ (x i ) = Φ(x i ) e min ψ (y) min { Φ(x i ) } Inoltre per convessita y R n Φ(y) Φ(x i ) + p i t (y-x i ) e Φ(y) ψ (y)

7 Se x* minimizza Φ e z minimizza ψ allora Φ( x*) ψ (x*) ψ (z) Si considera il seguente problema (lineare, variabili z R n, ξ R) min ξ con vincoli Φ(x i ) + p i t (z-x i ) ξ i=1...n+1 Problema lineare ovvero min 0 z + ξ p i t z -ξ Φ(x i ) + p i t xi i =1...n+1 min 0 z + ξ -p i t z +ξ Φ(x i ) - p i t xi i =1...n+1 Il cui duale e max μ i ( Φ(x i )- p i t xi ) μ i p i = 0 μ i = 1 Se la matrice (n+1,n+1) di colonne (p i,1) e non singolare e esistono pesi μ i > 0 identifica la base del problema Il vettore (z,ξ) che verifica p i t z -ξ = Φ(x i ) + p i t xi identifica la soluzione duale e ξ = ψ (z ) = min ψ Una ulteriore colonna (-p,1) con p Φ(x) viola la condizione duale se Φ(x) - p t x > -pt z +ξ In particolare per z e q Φ(z) Φ(z) > ξ, e con il simplesso la colonna generata da z (coppia (z,q), q Φ(z)) puo essere scambiata con una delle colonne La colonna eliminata dalla base viene abitualmente cancellata.

8 Alcuni Dettagli Se Φ e convessa definita per x R n allora epi (Φ) = { (x, α) R n+1 t.c Φ(x) α} x* soluzione per min Φ(x) se solo se (x*,φ(x*) ) punto di minimo per (0,1) t (x, α) calcolato per i punti ( x, α) epi(φ) Ogni coppia (x,p) con p Φ(x) identifica le relazioni Φ(y) Φ(x) + p t (y-x) y ovvero se (y, β) epi(φ) β Φ(y) Φ(x) + p t (y-x) La relazione lineare (p,-1) t (y, β) p t x - Φ(x) = (p,-1) (x, Φ(x) ) valida per tutti i punti (y, β) epi(φ) [ e anche per (x*,φ(x*) )] Il problema di minimo equivale al problema lineare con il vincolo ovvero i vincoli min (0,1) t (y, β) = max (0,-1) (y, β) epi(φ) (p,-1) t (y, β) p t x - Φ(x) Dalle condizioni KKT l ottimo x* e caratterizzato da - vincoli lineari (max n+1, se di piu si possono eliminare ) e pesi > 0 (altri non rappresentati ) per cui μ i p i = 0 μ i = 1 Il vettore (z,ξ) che verifica p i t z -ξ = Φ(x i ) + p i t xi e una previsione della soluzione. Se (z,ξ) Epi (Φ ) allora non e la soluzione e puo essere separato da un piano ( separazione punto -convesso) Il piano taglia e costituisce un vincolo violato Se si aggiunge un vincolo lineare il valore del minimo sale e si trova un punto (z +,ξ + ) con ξ + >ξ.

9 Se q Φ(z) allora si genera il piano Φ(z) + q t (y-z) e la condizione Φ(z) > ξ indica la violazione. Si possono scegliere altri punti w q Φ(w) basta che si abbia (q,-1) t (z, ξ) > p t w - Φ(w) [Φ(w) + q (z-w) > ξ ] Se i vettori p i sono di rango massimo la matrice di colonne (p i, -1) e invertibile si puo calcolare il vettore σ per cui σ i p i = q σ i = 1 σ i >0 per almeno una componente e se ρ = min (μ i /σ i, σ i > 0 ) allora ρ q + μ i p i - ρ σ i p i = ρ q + (μ i -ρσ i )p i = 0 ed e possibile cancellare un vincolo ( indice j per cui ρ = μ j /σ j ) e avere una relazione del tipo μ i + p i = 0 μ i + = 1 con valori aggiornati (μ i + ) = (μi -ρσ i ) 0 o valore nuovo ρ Il nuovo punto (z +,ξ + ) verifichera p i t z + -ξ + = p i t z -ξ = Φ(x i ) + p i t xi per i vincoli non cancellati [σ i 0, o μ i /σ i > ρ ] e q t z + - ξ + = Φ(z) + q t z ( per il nuovo vincolo ) E un algoritmo molto semplice e adattabile anche a vincoli convessi. Non converge velocemente e puo avere problemi di stabilita numerica ( se meno di n+1 vincoli alla soluzione ) Gli algoritmi bundle utilizzano tecniche simili ma sono stabilizzati. Si possono aggiungere limitazioni sui passi o generare approssimazioni non lineari (tipo trust), conservare vincoli per limitare la regione, identificare direzione di discesa attraverso soluzioni di minima norma a equazioni θ i + p i = 0 con un numero ristretto ( < n ) vincoli θ i + = 1