Capitolo 2: Preliminari ed elementi di analisi convessa. E. Amaldi DEIB, Politecnico di Milano

Transcript

1 Capitolo 2: Preliminari ed elementi di analisi convessa E. Amaldi DEIB, Politecnico di Milano

2 2.1 Concetti di base In R n con norma euclidea x S R n è un punto interno di S se ε > 0 tale che B ε (x) = {y R n : y x < ε} S. x R n è un punto di frontiera per S se ε > 0 B ε (x) contiene almeno un punto di S e uno del suo complementare rispetto a R n, indicato S. L insieme di tutti i punti interni di S R n è l interno di S, indicato int(s). L insieme di tutti i punti di frontiera per S è la frontiera di S, indicata (S). Un insieme S R n è aperto se S = int(s); S è chiuso se il suo complementare S è aperto. Intuitivamente un insieme chiuso contiene tutti i punti di (S). Un insieme S R n è limitato se M > 0 tale che x M per ogni x S. Un insieme S R n chiuso e limitato è compatto. 1

3 Proprietà: Un insieme S R n è chiuso se e solo se ogni successione {x i } i N S che converge, converge verso un x S. Un insieme S R n è compatto se e solo se ogni successione {x i } i N S ammette una sottosuccessione convergente verso un x S. In genere, quando si desidera minimizzare una funzione f : S R n R si sa solo che esiste il più grande limite inferiore sul valore della funzione obiettivo, ovvero inf x S f(x) Esistenza di una soluzione ottima: Teorema (Weierstrass): Se S R n è non vuoto compatto e f : S R è continua, esiste un x S tale che f(x ) f(x) per ogni x S. Poiché il problema possiede una soluzione ottima x S, si può scrivere min x S f(x). Valido in qualsiasi spazio vettoriale di dimensione finita. Esempi in cui il risultato non è valido: S non è chiuso, S non è limitato o f non è continua su S. 2

4 Coni e sottospazi affini Dato un qualsiasi sottoinsieme S R n Definizione: cono(s) indica l insieme di tutte le combinazioni coniche di punti di S, ovvero di tutti gli x R n tali che x = m i=1 α i x i con x 1,..., x m S e α i 0 per ogni i, 1 i m. Esempi: cono poliedrale generato da un numero finito di vettori, cono da gelato in R 3 generato da un numero infinito di vettori Definizione: aff(s) indica il più piccolo sottospazio affine che contiene S. aff(s) coincide con l insieme di tutte le combinazioni affini di punti di S, ovvero di tutti i punti x R n tali che x = m i=1 α i x i con x 1,..., x m S e con m i=1 α i = 1 dove α i R per ogni i, 1 i m. Esempi: retta che passa per due punti in R 2, piano che contiene tre punti in posizione generale in R 3 3

5 2.2 Elementi di analisi convessa Insiemi convessi Definizione: Un insieme C R n è convesso se αx 1 + (1 α)x 2 C x 1, x 2 C e α [0, 1] Un punto x R n è una combinazione convessa di x 1,..., x m R n se m x = α i x i con α i 0 per ogni i, 1 i m, e m i=1 α i = 1. i=1 Proprietà: Se C i con i = 1,..., k sono convessi, k i=1 C i è convesso. 4

6 Esempi di insiemi convessi: 1) Iperpiano H = {x R n : p t x = β} con p 0 Per x H, p t x = β quindi H = {x R n ortogonali a p. : p t (x x) = 0}, ovvero H = insieme dei vettori di R n N.B.: H è chiuso poiché ogni punto di H è un punto di frontiera (int(h)= ) 2) Semispazi chiusi H + = {x R n : p t x β} e H = {x R n : p t x β} con p 0 3) La regione ammissibile X = {x R n : Ax b, x 0} di un programma lineare (PL) min c t x s.v. Ax b x 0. Essendo l intersezione di un numero finito di semispazi chiusi (m+n se A R m n ), X è un sottoinsieme convesso e chiuso. 5

7 Definizione: L intersezione di un numero finito di semispazi chiusi è un poliedro. N.B.: Anche l insieme delle soluzioni ottime di un PL è un poliedro (basta aggiungere ai vincoli c t x = z, con z valore ottimo) e quindi convesso. Definizione: Il guscio convesso di S R n, indicato conv(s), è l intersezione di tutti gli insiemi convessi che contengono S. conv(s) coincide con l insieme di tutte le combinazioni convesse di punti di S. Sono due caratterizzazioni equivalenti (descrizione esterna/interna). Definizione: x C convesso di R n è un punto estremo di C se non può essere espresso come combinazione convessa di due punti differenti di C, ovvero implica x 1 = x 2. x = αx 1 + (1 α)x 2 con x 1, x 2 C, e α (0, 1) Esempi: insiemi convessi con un numero finito o infinito di punti estremi 6

8 Proiezione di un punto su un sottoinsieme al quale non appartiene: Lemma (Proiezione): Sia C R n non vuoto, chiuso e convesso, allora per ogni y C esiste un unico x C a distanza minima da y. Inoltre x C è a distanza minima se e solo se (y x ) t (x x ) 0 x C. Definizione: x è la proiezione di y su C. Risultato geometricamente intuitivo ma fondamentale: Teorema (Iperpiano di separazione): Sia C R n non vuoto, chiuso e convesso e y C, allora esiste un p R n tale che p t x < p t y per ogni x C. Quindi esiste un iperpiano H = {x R n : p t x = β} con p 0 che separa y da C, i.e., tale che C H = {x R n : p t x β} e y H (p t y > β) Illustrazione geometrica 7

9 Tre conseguenze importanti: 1) C R n non vuoto, chiuso e convesso è l intersezione di tutti i semispazi che contengono C. Definizione: Sia S R n non vuoto e x (S) ( frontiera relativa rispetto ad aff(s) ), H = {x R n : p t (x x) = 0} è un iperpiano di supporto di S in x se S H o S H +. 2) Iperpiani di supporto: Sia C convesso di R n e x (C) allora iperpiano H di supporto in x, i.e., p 0 tale che p t (x x) 0 per ogni x C. Un insieme convesso possiede almeno un iperpiano di supporto in ogni punto di frontiera. Per sottoinsiemi non convessi, un tale iperpiano può non esistere. Esempi: casi con 1/ /0 iperpiani di supporto in un dato punto di frontiera x 8

10 Risultato centrale dell ottimizzazione (rilevante anche in teoria dei giochi) dal quale deriveremo le condizioni di ottimalità per la programmazione non lineare. 3) Lemma di Farkas: Sia A R m n e b R m, allora x R n tale che Ax = b e x 0 se e solo se y R m tale che y t A 0 t e y t b > 0. In questa forma fornisce un certificato di inammissibilità di un dato sistema lineare, ma è anche noto come teorema dell alternativa. Alternativa: esattamente uno dei due sistemi Ax = b, x 0 e y t A 0 t, y t b > 0 è ammissibile. Interpretazione geometrica: b appartiene al cono convesso generato dalle colonne A 1,..., A n di A, ovvero a cono(a)= {z R m : z = n j=1 α j A j, α 1 0,..., α n 0} se e solo se non esiste un iperpiano che separa b da cono(a). Alternativa: b cono(a) oppure b cono(a) e quindi esiste un iperpiano che separa b da cono(a). 9

11 Applicazione Lemma di Farkas: opportunità di arbitraggio determinazione dei prezzi di titoli in assenza di Singolo periodo, m titoli che possono essere acquistati o venduti short (venduti con promessa di riacquistarli alla fine), n possibili stati/scenari. Portafoglio y R m, con y i = ammontare investito nel titolo i Se p i prezzo per unità di capitale del titolo i all inizio, costo portafoglio: p t y Sia A R m n con a ij = valore per unità di capitale investito nel titolo i se lo scenario j si realizza. Alla fine le posizioni vengono liquidate: si vendono i titoli (si riceve a ij y i ) e le posizioni short sono coperte (si paga a ij y i ovvero si guadagna a ij y i ). Valori del portafoglio: v t = y t A Condizione di assenza di opportunità di arbitraggio: qualsiasi portafoglio di titoli che rende valori non negativi per tutti gli scenari deve avere un costo non negativo. Algebraicamente: y tale che y t A 0 t e p t y < 0. In base al lemma di Farkas, non vi sono quindi opportunità di arbitraggio se e solo se q R n con q 0 tale che il vettore dei prezzi dei titoli p soddisfa Aq = p (in genere q non è unico). Se il mercato è efficiente, esistono quindi dei state prices/probabilities q i. 10

12 2.2.2 Funzioni convesse Definizioni: Una funzione f : C R definita su un convesso C R n è convessa se f(αx 1 + (1 α)x 2 ) αf(x 1 ) + (1 α)f(x 2 ) x 1, x 2 C e α [0, 1], f è strettamente convessa se < per ogni x 1, x 2 C con x 1 x 2 e per ogni α (0, 1). f è concava se f è convessa L epigrafo di f : S R n R, indicato epi(f), è il sottoinsieme di R n+1 epi(f) = {(x, y) S R : f(x) y} Sia f : C R convessa, il dominio effettivo di f è il sottoinsieme di R n dom(f) = {x C : f(x) < + } 11

13 Proprietà: Sia C R n convesso (non vuoto) e f : C R funzione convessa Gli insiemi di livello L β = {x C : f(x) β} e {x C : f(x) < β} sono sottoinsiemi convessi di R n per qualsiasi scalare β (anche per + ). La funzione f è continua nell interno relativo (rispetto ad aff(c)) del suo dominio effettivo. La funzione f è convessa se e solo se epi(f) è un sottoinsieme convesso di R n+1. 12

14 Soluzioni ottime di problemi convessi Consideriamo min x C R n f(x) dove C R n convesso e f convessa Proposizione: Se f : C R definita su convesso C R n è convessa, ogni minimo locale è un minimo globale. Se f è strettamente convessa su C, allora esiste al più un minimo globale (il problema potrebbe essere illimitato). Per assurdo: supponiamo x sia un minimo locale ma x C tale che f(x ) < f(x ). Poiché f è convessa f(αx + (1 α)x ) αf(x ) + (1 α)f(x ) < f(x ) α (0, 1) contraddice il fatto che x sia un minimo locale. Se f è strettamente convessa e x 1 e x 2 sono due minimi globali, per convessità di C 1 2 (x 1 + x 2) C e per convessità stretta di f f( 1 2 (x 1 + x 2)) < 1 2 f(x 1) f(x 2). Quindi x 1 e x 2 non possono essere due minimi globali. N.B.: La stessa proprietà è valida per la massimizzazione di funzioni concave. 13

15 Caratterizzazioni delle funzioni convesse differenziabili 1) Proposizione: Una funzione continuamente differenziabile (di classe C 1 ) f : C R definita su un convesso aperto non vuoto C R n è convessa se e solo se f(x) f(x) + t f(x)(x x) x, x C; f è strettamente convessa se e solo se disuguaglianza con > per ogni coppia x, x C con x x. Definizione: Derivata direzionale di f: lim α 0 + f(x+α(x x)) f(x) α = t f(x)(x x) Interpretazione geometrica: L approssimazione lineare di f intorno a x (sviluppo di Taylor al 1 o ordine) limita inferiormente f(x) e ( x H = { y ) R n+1 : ( t f(x) 1) ( x y ) = f(x) + t f(x) x } è un iperpiano di supporto di epi(f) in (x, f(x)), con epi(f) H. 14

16 2) Proposizione: Una funzione 2 volte continuamente differenziabile (di classe C 2 ) f : C R definita su C R n convesso aperto non vuoto è convessa se e solo se la matrice Hessiana 2 f(x) = ( 2 f x i x j ) è semi-definita positiva in ogni x C. Per funzioni C 2, se 2 f(x) è definita positiva x C allora f(x) è strettamente convessa. N.B.: Condizione sufficiente ma non necessaria: f(x) = x 4 è strettamente convessa ma f (0) = 0. Definizione: Una matrice simmetrica A n n è definita positiva se y t Ay > 0 per ogni y R n con y 0, una matrice simmetrica A n n è semi-definita positiva se y t Ay 0 per ogni y R n. Definizioni equivalenti: basate sul segno degli autovalori/minori principali di A o degli elementi diagonali di alcune fattorizzazioni di A (ad esempio Choleski). 15

17 Sottogradiente di funzioni convesse o concave Funzioni convesse/concave (continue) ma non ovunque differenziabili, ad es. f(x) = x Generalizzazione del concetto di gradiente di funzioni di classe C 1 a funzioni C 1 a tratti Definizioni: Sia C R n convesso e f : C R convessa su C un vettore γ R n è un sottogradiente di f in x C se f(x) f(x) + γ t (x x) x C il sottodifferenziale, indicato f(x), è l insieme di tutti i sottogradienti di f in x. Esempi: - Per f(x) = x 2, in x = 3 l unico sottogradiente è γ = 6. Infatti 0 (x 3) 2 = x 2 6x + 9 implica che per ogni x: f(x) = x 2 6x 9 = 9 + 6(x 3) = f(x) + 6(x x) - Per f(x) = x è chiaro che: γ = 1 se x > 0, γ = 1 se x < 0, f(x) = [ 1, 1] se x = 0 16

18 - Sia f(x) = min{f 1 (x), f 2 (x)} con f 1 (x) = 4 x e f 2 (x) = 4 (x 2) 2. Poiché f 2 (x) f 1 (x) per 1 x 4, f(x) = { 4 x 1 x 4 4 (x 2) 2 altrimenti γ = 1 per x (1, 4), γ = 2(x 2) per x < 1 o x > 4, γ [ 1, 2] in x = 1 e γ [ 4, 1] in x = 4. Proprietà: 1) Una funzione f : C R convessa possiede almeno un sottogradiente in ogni punto interno x di C. In particolare, se x int(c) allora esiste γ R n tale che iperpiano è di supporto ad epi(f) in (x, f(x)). H = {(x, y) R n+1 : y = f(x) + γ t (x x)} N.B.: Esistenza di (almeno) un sottogradiente in ogni punto di int(c), con C convesso, è una condizione necessaria e sufficiente affinché f sia convessa su int(c). 2) Se f è convessa e x C, f(x) è un insieme non vuoto, convesso, chiuso e limitato. 3) x è un minimo (globale) di f se e solo se 0 f(x ). 17