Parte II: Ottimalità, rilassamenti e bound

Transcript

1 Parte II: Ottimalità, rilassamenti e bound

2 Sommario Definizioni di bound primali e duali. Rilassamento di un problema di OC. Esempi di rilassamenti per il problema del TSP: Il rilassamento albero. Il rilassamento abbinamento. Bound primali per il TSP: Nearest Neighbor e Insertion. Algoritmi approssimati (Double Tree, Christofides). Bound dal rilassamento lineare: Il rilassamento lineare del knapsack. Bound primali: algoritmo greedy. Bound per dualità. Formulazioni di PL. Formulazioni ideali e matrici TU.

3 Ottimalità, rilassamenti e bound Consideriamo il seguente problema z * = max {c T x : x X, X {,} n } dove z* è il valore della soluzione ottima x*. Domanda: In che modo è possibile certificare che la soluzione x* è ottima? In generale, se disponessimo di un algoritmo che genera le due sequenze di soluzioni: z UB > z UB > > z UB h > z* z LB < z LB < < z LB k < z* potremmo fornire come criterio di arresto z UB h z LB k < ε (> )

4 Lower (upper) bound Bound primali Ogni soluzione x X ammissibile è un lower (upper) bound per un problema di massimizzazione (minimizzazione) z* z LB z LB z UB z UB z*

5 Upper (lower) bound Bound duali Al contrario dei bound primali, trovare upper (lower) bound di buona qualità per problemi di massimo (minimo) è tipicamente difficile. Buoni bound duali si ottengono attraverso lo studio delle proprietà strutturali del problema di OC. Le proprietà di un problema di OC si caratterizzano tramite:. Rilassamenti del problema. Definizione e studio di problemi duali.

6 Rilassamento Definizione: Il problema (RP) z R = max {f(x) : x T, T R n } (z R = min {f(x) : x T, T R n }) si definisce rilassamento del problema (P) z = max {c T x : x X, X {,} n } (z = min {c T x : x X, X {,} n }) se e solo se: i) X T, ii) f(x) > c T x per ogni x X (f(x) < c T x per ogni x X) Proprietà : Se RP è un rilassamento di P, allora z R > z * (z R < z * ). Proprietà : Se x R sol. ottima di RP è ammissibile per P allora x R = x *.

7 Esempi di rilassamenti Problema del commesso viaggiatore (simmetrico). Dati: grafo G = (V, E); pesi sugli archi c e per ogni arco e E. Domanda: trovare il ciclo hamiltoniano di peso minimo. Definizione: Un albero è un sottografo di G che consiste di due archi adiacenti al nodo più gli archi di un albero ricoprente i nodi {,, n}. Esempio 3 4

8 Rilassamenti per il TSP Osservazione: Un ciclo hamiltoniano è un particolare albero. 3 4 Pertanto, il problema Dati: grafo G = (V,E), pesi sugli archi c e per ogni arco e E. Domanda: trovare l albero di peso minimo. è un rilassamento del problema del TSP, perché l insieme X di tutti i cicli hamiltoniani è contenuto nell insieme T di tutti gli alberi.

9 Rilassamenti per il TSP Definizione: Dato un grafo G = (V, E), un abbinamento su G è un insieme di archi M tale che ogni nodo in V è estremo di esattamente due archi in M Un abbinamento forma un insieme di cicli disgiunti.

10 Rilassamenti per il TSP Osservazione: Un ciclo hamiltoniano è un particolare abbinamento, difatti è un abbinamento privo di sottocicli (subtour). 3 6 Pertanto, il problema 4 Dati: grafo G = (V,E), pesi sugli archi c e per ogni arco e E Domanda: trovare il abbinamento di peso minimo è un rilassamento del problema del TSP, perché l insieme X di tutti i cicli hamiltoniani è contenuto nell insieme T di tutti i abbinamenti.

11 Un esempio Consideriamo la seguente istanza del problema del Commesso Viaggiatore:

12 Un esempio

13 Un esempio Il abbinamento di peso minimo ha valore

14 Un esempio L albero di peso minimo ha valore

15 Un esempio Il ciclo hamiltoniano di peso minimo ha valore

16 Un esempio () Il abbinamento di peso minimo ha valore

17 Un esempio () L albero di peso minimo ha valore

18 Un esempio () Il ciclo hamiltoniano di peso minimo ha valore

19 Ricapitolando Abbiamo definito per il TSP due lower bound con le seguenti proprietà:. Sono lower bound combinatori, ovvero si ottengono tramite la soluzione di un problema di OC.. Tutti e due i problemi la cui soluzione genera i lower bound sono facili, ovvero hanno complessità polinomiale. La proprietà. è una proprietà chiave per ogni bound duale. Infatti, se il calcolo del bound fosse un problema NPcompleto sappiamo che calcolare il bound diventa almeno tanto difficile quanto risolvere il problema stesso. Domanda: Come si possono calcolare bound primali (ovvero soluzioni ammissibili di buona qualità) per il problema del TSP?

20 Algoritmi euristici Definizione: Un algoritmo A si dice euristico per un problema P se restituisce una soluzione ammissibile z A che non è garantito essere la soluzione ottima. Definizione: Sia P un problema di minimizzazione. Un algoritmo euristico si dice δapprossimato se. ha complessità polinomiale, e. per ogni istanza I di P con soluzione ottima z*(i), si ha z A (I) / z*(i) < δ () Osservazione: Se P è un problema di massimo, allora δ < e la condizione () vale con il segno di >.

21 Euristiche per il TSP Sia G = (V, E) un grafo completo e sia c uv il costo di ciascun arco uv E. Euristiche costruttive: tentano di costruire un buon ciclo hamiltoniano a partire da un sottociclo eventualmente vuoto. Euristiche migliorative: a partire da una soluzione ammissibile, si tenta di migliorarla attraverso miglioramenti locali.

22 Euristica Nearest Neighbor Input: G = (V,E). Output: ciclo hamiltoniano T. procedure nearest_neighbor () Scegli un vertice u V qualsiasi; W = V \ {u}, aggiungi u alla lista T while W > { scegli v W tale che c uv = min {c uj : j W} Aggiungi {v} alla lista T W = W \ {v} u = v }

23 Esempio Nearest Neighbor 4 La soluzione di valore è ottima?

24 Esempio Nearest Neighbor 4 La soluzione ottima vale. Osservazione: il rapporto z A (I)/z*(I) può essere reso grande a piacere.

25 Euristiche di inserimento

26 Euristiche di inserimento

27 Euristiche di inserimento

28 Euristiche di inserimento Input: G=(V,E). Output: ciclo hamiltoniano T. procedure insertion_heuristic () Inizializza T con un sottociclo W = V /T; while ( W > ) { } scegli un vertice u W; scegli la posizione in cui inserire u in T; inserisci u in T; elimina u da W;

29 Selezione del vertice da inserire Definizione: Si definisce distanza di un vertice u da un ciclo T il peso del più piccolo arco che collega il vertice ad un altro qualsiasi vertice del ciclo. T = (,,.., k) dist (u, T) = min { c uv : v T}. Nearest Insertion: Inserisci il vertice u che minimizza dist (u, T), u T. Farthest Insertion: Inserisci il vertice u che massimizza dist (u, T), u T.

30 Selezione della posizione di inserimento Osservazione: Scegliere la posizione equivale a scegliere l arco da eliminare nel ciclo T. Un vertice può essere inserito in ogni posizione di T. Siano T = (v, v,, v n ) il ciclo corrente e c(t) il costo di T e sia u il nodo da aggiungere al ciclo. Se c(t(i)) è il costo del ciclo ottenuto da T inserendo il nodo u nella posizione iesima, il costo di inserimento è pari a c(t(i)) c(t). Si seleziona la posizione che minimizza c(t(i)) c(t).

31 Esempio d = d =

32 Esempio T = {,, 3} d = d =

33 Esempio C =

34 Esempio C = 6

35 Esempio C = 7

36 Altre regole di selezione del vertice Random Insertion: Si sceglie un vertice a caso fra quelli non ancora inseriti nel ciclo. Cheapest Insertion: Si sceglie il vertice che può essere aggiunto al ciclo con il minimo aumento di costo.

37 Una proprietà strutturale Si dice che la matrice delle distanze di un grafo G soddisfa la disuguaglianza triangolare se comunque prendo un triangolo e, e, e 3 in G si ha c ei + c ej > c ek per i j k, i, j, k {,, 3}

38 Richiamo Definizione: G = (V, E) è un grafo euleriano se e solo se il grado di ogni nodo è pari. Se G = (V, E) è un grafo euleriano e v è un vertice di G allora è possibile costruire un percorso che inizia e finisce in v e che attraversa ogni arco esattamente una volta. Teorema: Sia H = (V, F) un grafo completo con la matrice dei costi che soddisfa la disuguaglianza triangolare. Sia G = (V, E) un sottografo euleriano connesso di H. H contiene un ciclo hamiltoniano di lunghezza al più Σ e E c e.

39 Dimostrazione (idea) 3 Sottografo euleriano 4 Come posso ricavare un ciclo hamiltoniano? Poiché vale la disuguaglianza triangolare, c < c 3 + c 3.

40 Euristica Double Tree. Calcola un minimo albero ricoprente K.. Raddoppia gli archi di K, formando un percorso euleriano. 3. Ricava un ciclo hamiltoniano dal percorso euleriano. Indichiamo con z H DT il valore della soluzione che si ottiene applicando l euristica Double Tree.

41 Da un percorso euleriano ad un ciclo hamiltoniano Consideriamo un percorso euleriano (v,, v k ). procedure obtain_hamiltonian () T = {v }, i=, v = v while T < n { if v i T T = T {v i } collega v a v i v = v i i ++ } collega v a v T è un ciclo hamiltoniano.

42 Esempio Tour euleriano (,4,,3,,3,,3,,6,,8,9,8,,8,7,,7,8,) Tour hamiltoniano (,4,,3,,3,,3,,6,,8,9,8,,8,7,,7,8,)

43 Proprietà Double tree è un algoritmo approssimato per il TSP. Dimostrazione:. z* > z TREE (albero è un rilassamento per TSP).. Per costruzione, la lunghezza del doppio albero è * z TREE. 3. z H DT < * z TREE. Pertanto: z H DT / z* < * z TREE / z TREE =.

44 Euristica di Christofides. Calcola un minimo albero ricoprente K.. Sia V V l insieme dei vertici che hanno grado dispari in K. 3. Trova il matching perfetto M di peso minimo sui nodi V. 4. M K è un percorso euleriano.. Ricava un ciclo hamiltoniano dal percorso euleriano. Indichiamo con z H CH il valore della soluzione che si ottiene applicando l euristica di Christofides.

45 Esempio Matching perfetto Nodi di grado dispari Tour euleriano (,,3,6,,4,9,8,,,7,8,,3,) Tour hamiltoniano (,,3,6,,4,9,8,,,7,8,,3,)

46 L algoritmo di Christofides per il TSP è 3/approssimato. Dimostrazione: Proprietà. z* > z TREE (albero è un rilassamento per TSP) Siano {t, t,..., t k } i vertici di grado dispari del minimo albero ricoprente etichettati nell ordine in cui si incontrano nel ciclo hamiltoniano ottimo. 3 Esempio: T* = {,, 3, 4,, 6} Min albero ricoprente in rosso 4 {t, t,..., t k } = {, 3,, 6} 6

47 Dimostrazione Sia C il ciclo formato dai vertici {t, t,..., t k } e z(c) il suo costo. Si ha che:. C è l unione di matching perfetti {t t, t 3 t 4,... t k t k } {t t 3, t 4 t,... t k t } e quindi z(c) > z M, con z M valore del matching perfetto di costo minimo.. z(c) < z* per la disuguaglianza triangolare. Difatti ognuno degli archi di C ha un costo minore o uguale al corrispondente sottocammino in T. Pertanto, z* > z(c) > z M, ovvero z M < z*/. Quindi: z H CH < z TREE + z M < z* + z*/ < 3/ z*

48 Il problema della bisaccia Avete a disposizione un budget b per gli investimenti dell anno 8. Ad ogni progetto è associato un costo a j (> ) un guadagno atteso c j (>). Problema: Scegliere l insieme di progetti in modo che sia massimizzato il guadagno atteso senza eccedere il budget b. Se ogni progetto può essere attivato non solo per intero ma anche in parte si parla di knapsack continuo.

49 Il knapsack continuo Consideriamo il seguente problema max st n j= x j= c x a j x j b (KRL) per j =,..., n j n j j KRL è un rilassamento del problema di knapsack. Infatti, la collezione degli insiemi ammissibili del problema di knapsack è contenuta nella regione ammissibile del problema di knapsack continuo.

50 Il knapsack continuo Come si risolve il problema di knapsack continuo? Essendo formulato come problema di Programmazione Lineare, si può risolvere utilizzando il metodo del simplesso. In alternativa: Supponiamo di riordinare gli elementi della bisaccia in modo che: c a h c cn... e sia h l indice minimo per cui a a j= n a j > b La soluzione f = b a h j= h a j x =, x =,..., xh =, xh = f, xh+ =,..., xn = è ottima per (KLR). con

51 Dimostrazione Supponiamo, senza perdita di generalità, che gli elementi del problema soddisfino c c cn > >... > a a an e sia x LP = (x,, x n ) la soluzione ottenuta con la formula precedente. Consideriamo una soluzione x ottima, diversa da x LP. Ora, x differisce da x LP per almeno un elemento x k con k > h. Infatti, se x fosse diversa da x LP soltanto perché x h =, allora x non sarebbe ottima. Ciò significa che esiste un indice i < h tale che x i < e un indice k > h tale che x k >. Sia d = min { a x', a ( x )} Per costruzione, d >. Consideriamo la soluzione: k k i i

52 Dimostrazione che si ottiene da x sostituendo x i e x k con: è ammissibile. Infatti: Inoltre,. Infatti: Ma, allora, la soluzione x non è ottima (contraddizione). ) ',...,,..,,..., ', ' ( n k i x x x x x x = k k k a d x x = ' i i i a d x x + = ' x b a d a a a d x a x a k k n j i i j j n j j j = + = = = ' cx' x c > = = = > + = n j j j n j k k i i j j n j j j x c a c a c d x c x c ' ' <

53 Bound primale per il knapsack Il seguente algoritmo, applicato agli elementi della bisaccia riordinati secondo il criterio c a restituisce, invece una soluzione ammissibile per il problema di knapsack: Algorithm Greedy_knapsack () d = ; z = ; for (j = ; j < n; j ++) { if (d + a j < b) then x j = ; d = d + a j ; z = z + c j ; else x j = ; } return z; c... a c a n n

54 Ricapitolando Abbiamo definito per il knapsack un upper bound con le seguenti proprietà:. L upper bound è continuo, nel senso che si ottiene dalla soluzione di un problema di Programmazione Lineare e non da un problema di OC.. L upper bound può essere calcolato con un algoritmo più efficiente rispetto al metodo del simplesso e polinomiale. Domanda: Può essere generalizzata questa tecnica di rilassamento? Sostituendo la stipula x {, } con il vincolo < x < di una formulazione di un problema di PL{,}, si ottiene sempre un rilassamento denominato Rilassamento Lineare.

55 Dualità Definizione: Due problemi di ottimizzazione z = max {f(x) : x X} w = min {g(y) : y Y } formano una coppia duale debole se f(x) < g(y) per ogni x X e y Y. Se z = w si dice che formano una coppia duale forte. Vantaggio fondamentale rispetto al rilassamento: Per ottenere un bound attraverso il rilassamento, il problema rilassato va risolto all ottimo. Invece, per una coppia duale ogni soluzione ammissibile y Y (x X) è un upper (lower) bound per z (w).

56 Esempi. Il problema di trovare un matching di massima cardinalità e quello di trovare un node cover di minima cardinalità formano una coppia duale debole per ogni grafo G.. Il problema di trovare un insieme stabile di massima cardinalità e quello di trovare un edge cover di minima cardinalità formano una coppia duale debole per ogni grafo G. Entrambe queste coppie di problemi godono della dualità forte se G è bipartito (Teorema di Konig e Teorema di Gallai).

57 Formulazioni Consideriamo il seguente problema di Knapsack max (x + x ) st 3x + 4x < 6 x {,} Insiemi ammissibili F = {(, ), (, ), (, )} Rappresentiamo sul piano gli insiemi ammissibili.

58 Insiemi ammissibili x (, ) (, ) (, ) (, ) x

59 Formulazione Un poliedro P è una formulazione di un problema di OC se e solo se P {,} n = F x x

60 Il rilassamento lineare Il problema di knapsack max x + x 3x + 4x < 6 x {,} ha come rilassamento lineare max x + x 3x + 4x < 6 x > x > x < x <

61 è un poliedro x 3x + 4x < 6 x < x > x < x > x

62 ovvero, è una formulazione x x

63 Gerarchia di formulazioni Quando una formulazione è migliore di un altra? Definizione: Se un poliedro P, formulazione di F, è contenuto in P, formulazione di F, diciamo che P è migliore di P. In generale P P P 3 Esiste una formulazione ideale?

64 Formulazione ideale Geometricamente la formulazione ideale coincide con il più piccolo poliedro contenente F. x Come si ottiene la formulazione ideale? x

65 Proprietà Osservazione: Ogni vertice del poliedro associato alla formulazione ideale è in corrispondenza biunivoca con un insieme ammissibile. Definizione: Dati due vettori x e x di R n si definisce combinazione convessa il vettore y = λx + ( λ) x con λ [, ] Esempio: x y x

66 Involucro convesso Definizione: L insieme di tutte le possibili combinazioni convesse di un insieme di vettori X di R n prende il nome di involucro convesso e si indica con conv(x). Osservazione: conv(x) è un poliedro. Pertanto, la formulazione ideale di F è conv (F).

67 Calcolo di conv (F) In linea di principio Dati gli insiemi ammissibili F = {(, ), (, ), (, )} y conv(f) se e solo se si può esprimere come,, = = λ λ λ λ λ λ λ λ λ y y

68 a questo punto Attenzione: questo sistema è nello spazio R n+m, se m sono gli insiemi ammissibili. Quindi per ottenere la formulazione ideale è necessario proiettare il sistema nello spazio R n. A questo scopo è possibile utilizzare l algoritmo di Fourier Motzkin che consente di eliminare le variabili λ.

69 Punto della situazione Dato un problema di OC. Elenco tutti gli insiemi ammissibili.. Rappresento gli insiemi ammissibili come vettori a componenti in {,}. 3. Scrivo l involucro convesso applicando la definizione. 4. Con l algoritmo di FourierMotzkin elimino i coefficienti della combinazione convessa e ottengo una formulazione ideale nello spazio R n.. Applico il metodo del simplesso e trovo la soluzione ottima. È efficiente questo algoritmo?

70 Efficienza del calcolo di conv(f) Problemi del precedente algoritmo. Gli insiemi ammissibili sono tipicamente in numero esponenziale.. L algoritmo di FourierMotzkin non ha complessità polinomiale. Però sappiamo che una formulazione ideale esiste sempre e quindi. Caso MOLTO fortunato: abbiamo una formulazione che è proprio la formulazione ideale.. Tentiamo di approssimare la formulazione ideale costruendo una gerarchia di formulazioni a partire da una formulazione iniziale.

71 Gerarchia di formulazioni Quando una formulazione è migliore di un altra? Definizione: Se un poliedro P, formulazione di F, è contenuto in P, formulazione di F, diciamo che P è migliore di P. In generale, una gerarchia di formulazioni è costituita da un insieme di poliedri P P P 3

72 Esempio Consideriamo un problema di knapsack con il vincolo che l oggetto k può essere scelto se e solo se nella bisaccia sono stati scelti gli oggetti i e j. Formulazione. Formulazione. max c x x x k k x x T i j {,} x max c st st ax b ax n x x k T b x x {,} i + x n j

73 Esempio (II) Il rilassamento lineare della Formulazione è migliore di quello della Formulazione. Infatti, il vincolo x x + k i x j è implicato dai vincoli x x k k x x i j Quindi, P P.

74 Formulazione ideale La formulazione del problema di knapsack NON è una formulazione ideale. Domanda: Esistono casi fortunati in cui la formulazione coincide con la formulazione ideale? E possibile caratterizzare le formulazioni ideali in modo da riconoscerle in tempo polinomiale?

75 Il caso fortunato Consideriamo il seguente problema di PL in forma standard, in cui A è una matrice intera e b è un vettore intero: con rg (A) = m < n. min c T x Ax = b x > Se il problema ammette soluzione ottima finita, allora il metodo del simplesso restituisce la soluzione ottima in corrispondenza di una SBA del tipo: x x = x = B * B b N

76 Il caso fortunato (II) Osservazione: Se la base ottima B ha determinante det(b )= +, allora RL ha una soluzione intera. Infatti: B = B a /det(b), dove B a è la matrice aggiunta. Gli elementi di B a sono tutti prodotti di termini di B. Pertanto B a è una matrice intera e, poiché det(b)=+, B è ancora intera. Pertanto la soluzione di base x B = B b è intera per ogni intero b.

77 Matrici unimodulari Definizione: Una matrice A intera m n (m < n) si dice unimodulare se ogni sua sottomatrice B di dimensioni m m ha det(b) = {,, +}. Dall osservazione precedente si ottiene il seguente risultato: Teorema: Se A è una matrice unimodulare e b è un vettore intero, il poliedro P = {Ax = b, x > } è intero.

78 Matrici totalmente unimodulari Consideriamo ora il rilassamento lineare di una formulazione di PL{,}. In generale, sarà del tipo: min c T x Ax b (P ) x > Per portare questo problema in forma standard bisogna inserire le variabili di slack y: min c T x Ax Iy = b x, y > (P )

79 Matrici totalmente unimodulari Definizione: Una matrice A si dice TOTALMENTE UNIMODULARE (TU) se ogni sottomatrice quadrata di A ha determinante {, +, }. Proprietà delle matrici TU Una matrice A è TU se e solo se i) la matrice trasposta A T è TU. ii) la matrice (A, I) è TU.

80 Teorema Teorema (HoffmanKruskal [96]): Sia A una matrice intera. Il poliedro P definito da Ax b, x è intero per ogni vettore intero b se e solo se A è TU. Attenzione: Il teorema non vale se P = {x R n ; Ax = b}. Infatti, in questo caso P può essere intero ma A può non essere TU.

81 Condizioni per la TU Osservazione: Se A è TU, allora a ij {,, }. Teorema: A è TU se i) a ij {,, } ii) Ogni colonna ha al più due coefficienti non nulli iii) Esiste una partizione (M, M ) dell insieme delle righe M tale che ogni colonna j contenente due coefficienti non nulli soddisfa a = ij i M ij a i M Osservazione: se la colonna j contiene due elementi a ij e a kj dello stesso segno allora i M e k M. se la colonna j contiene due elementi a ij e a kj di segno opposto allora i, k M oppure i,k M.

82 Dimostrazione Dobbiamo dimostrare che ogni sottomatrice quadrata B di A ha det(b) {,, }. Procediamo per induzione: Se B è una sottomatrice, banalmente det(b) {,,}. Supponiamo ora che la tesi valga per ogni sottomatrice di A di dimensioni (n ) (n ) e consideriamo una sottomatrice B n n. Se B contiene una colonna nulla, det(b) =.

83 Dimostrazione Se B contiene una colonna con un unico elemento diverso da zero, allora det(b) = +det(b ), dove B è di ordine (n ) (n ). Pertanto, dall ipotesi induttiva, det(b) {,,}. Se ogni colonna di B contiene due elementi, dall ipotesi si ottiene Questo implica che det(b) =. a = i M ij a i ij M

84 Esempi di matrici TU G (N, A) grafo diretto a b c e i g d f h l l i h g f e d c b a A Matrice di incidenza nodiarchi M = M, M =

85 Formulazione del problema di cammino minimo Dati: G (N, A) grafo diretto, due nodi (s, t), vettore c R + A z = min st ( i, j) A c ij x ij k + ( i) x ik k ( i) x ki = per i = s k + ( i) x ik k ( i) x ki = per ogni i V \ { s, t} k + ( i) x ik k ( i) x ki = per i = t x {,} A

86 Cammino minimo z = min ( i, j) A st Ax = x x x {,} A c ij x ij La stipula di interezza può essere rimossa in quanto A è TU

87 Matrice di incidenza di grafi bipartiti 4 3 e d c b a 3 4 M M a b c d e Esercizio: Quali problemi di OC noti ammettono una formulazione avente come matrice dei coefficienti la matrice di incidenza di un grafo bipartito?

88 Matrici di incidenza Domanda:Tutte le matrici di incidenza sono TU? NO!!! a 3 a b c b c 3