PROGRAMMAZIONE DINAMICA

Transcript

1 PROGRAMMAZIONE DINAMICA 6.1

2 PROGRAMMAZIONE DINAMICA Sebbene elementi del metodo fossero già presenti in tecniche di ottimizzazione note in precedenza, si deve a Bellman lo studio sistematico (iniziato nel 1955) e la definizione della teoria matematica della programmazione dinamica [Cfr. R. Bellman, Dynamic Programming, Princeton University Press, 1957]. In tale contesto la parola programmazione si riferisce al fatto che i metodi di risoluzione sono basati su tabelle. Come il metodo divide et impera, la programmazione dinamica risolve problemi decisionali mettendo assieme le soluzioni di un certo numero di sottoproblemi. Gli algoritmi basati sul metodo divide et impera suddividono il problema in un certo numero di sottoproblemi indipendenti, risolvono ricorsivamente tali sottoproblemi, e infine fondono assieme le soluzioni ottenute per determinare la soluzione del problema originario. Il metodo della programmazione dinamica, invece, si può applicare anche quando i sottoproblemi non sono indipendenti; in altri termini, la soluzione di alcuni sottoproblemi richiede di risolvere i medesimi sottoproblemi. 6.2

3 In questi casi, un algoritmo basato sul metodo divide et impera fa più lavoro di quello strettamente necessario, dato che risolve più volte i sottoproblemi comuni. Gli algoritmi di programmazione dinamica risolvono ciascun sottoproblema una sola volta e memorizzano la soluzione in una tabella; in questo modo si evita di calcolare nuovamente la soluzione ogni volta che deve essere risolto lo stesso sottoproblema. I problemi che possono essere risolti con la programmazione dinamica soddisfano a due proprietà basilari : sottostruttura ottima (la soluzione ottima contiene le soluzioni ottime dei sottoproblemi) e sottoproblemi comuni (l algoritmo ricorsivo richiede di risolvere più volte lo stesso problema). Ogniqualvolta un problema presenta una sottostruttura ottima, questo potrebbe essere un buon indizio dell applicabilità della tecnica della programmazione dinamica. Gli algoritmi di programmazione dinamica si avvantaggiano della proprietà dei sottoproblemi comuni. Ogni sottoproblema è risolto una sola volta, e le soluzioni di tutti i sottoproblemi sono memorizzate in una tabella. 6.3

4 Quando si presenta nuovamente il medesimo sottoproblema la sua soluzione viene trovata con un semplice accesso alla tabella (che richiede sempre un tempo costante). Esaminando il metodo vedremo: una applicazione della P.D. al Knapsack problem (problema dello zaino) ; la complessità e i limiti della P.D. ; un esempio, estensione del precedente, nella cui forma possono essere posti molti problemi P.I.: Multidimensional K.P. (problema dello zaino multidimensionale) ; lo schema generale di un problema risolubile con P.D. e il principio di ottimalità di Bellman attraverso cui si ricava la soluzione di tale problema ; un primo esempio di problema formulato secondo tale schema generale (problema di distribuzione delle risorse) ; un secondo esempio (problema del cammino minimo). 6.4

5 E` un principio generale applicabile a problemi di ottimizzazione vincolati, lineari o non lineari, con varibili discrete o continue, ma aventi la proprietà di essere decomponibili. Non è, quindi, un algoritmo: è una metodologia!. Il termine deriva dall'iniziale applicazione alla ottimizzazione di sistemi dinamici (evoluzione nel tempo). Il principio della Programmazione Dinamica (P.D.) è più generale e può essere applicato anche a sistemi che non evolvono nel tempo. 6.5

6 Esempio Soluzione del "Knapsack problem" mediante P.D. max s. t. n j = 1 n j= 1 a x j c x j j { } j b x 01, j = 1,..., n j (KP) a j, "j e b sono interi; c j, "j qualsiasi valore reale. Assumiamo: a j 0, "j (se a j <0, cambio di variabile x j =1-x' j ) b 0 Indichiamo con F * il valore ottimo della f. o. 6.6

7 Idea di fondo della P.D. Tentare di ridurre la soluzione del prolema (KP), che contiene n variabili, alla soluzione di una sequenza di problemi più semplici, ad esempio problemi contenenti una sola variabile. DUE PASSI: 1 PASSO: Si inserisce il problema dato in una famiglia di problemi dello stesso tipo. Nel caso (KP) consideriamo la famiglia di n(b+1) problemi: n F ( E) = max c x Nota: j = n Problema monodimensionale i j j j= i s. t. n j= i a x b E x j { 0, 1} j = i,..., n dove i=1,...,n ; E intero compreso tra 0 e b (quindi b+1 valori) j j [KP i (E)] 6.7

8 La quantità E, che parametrizza la famiglia di problemi, è chiamata variabile di stato (o, se è un vettore, vettore di stato). E interessa i vincoli del problema E = {0, 1,..., b} insieme dei possibili valori di E (detto spazio degli stati) N.B.: il problema originale (KP) è un membro della famiglia di problemi (i=1, E=0): Assumiamo "i = 1,...,n F * = F 1 (0) F i (E)=- per E<0 o quando [KP i (E)] non ha soluzione (per esempio quando E>b) 6.8

9 2 PASSO: Si cerca una relazione recursiva che leghi fra loro i valori ottimi dei problemi della famiglia. Nel caso della famiglia [KP i (E)] si ha: { } F E = max c x + F E + a x = i x i i i i + 1( i i ) { 0, 1} F ( E) c F ( E a ) { i + 1 i i + 1 i } = max ; + + x i = 0 x i = 1 i=n-1,...,1 Questa relazione recursiva esprime il fatto che, in una soluzione ottima (x i, x i+1,..., x n ) di [KP i (E)] si deve avere x i =0 o x i =1 e che, in ogni caso, (x i+1,..., x n ) deve essere una soluzione ottima del problema ristretto alle variabili i+1,..., n Ne consegue che, "E (0 E b), per ottenere F i (E) dai valori F i+1 (E') (con 0 E' b) è sufficiente risolvere un problema di ottimizzazione elementare: il confronto di due numeri. 6.9

10 Algoritmo 1 (soluzione del Knapsack problem con P.D.) ( 0 ) 1. (livello n): E 0 E b calcolare: 0 per E > b an vincolo non rispettato Fn ( E) = cn per E b an e cn 0 0 per E b an e cn < 0 2. per i = n 1, K,2 (livello i), calcolare in successione: E E b { } = max ; + ( + ) F E F E c F E a i i i i i 3. Calcolare il valore ottimo di (KP) (livello 1): { } ( 0) max ( 0) ; * F = F1 = F2 c1 + F2 a1 STOP Osservazione: Algoritmo 1 fornisce il valore ottimo della f.o., ma non della soluzione (x 1,..., x n )=x * Come trovarla? 6.10

11 Individuazione di x * E` sufficiente definire per ogni livello i=n-1,..., 1 dell'algoritmo e per ogni E (0 E b) i valori x i (E): xi E i= n 1, K, 1 0 E b 0 = 1 se se = F E F E i i+ 1 = + ( + ) F E c F E a i i i+ 1 i e per il livello n: x ( E) n 0 E b = 0 se Fn E = 0 1 se Fn E = c n Osservazione: al termine dell'algoritmo si avranno n(b+1) valori x i (E). Come ricavare x *? 6.11

12 Procedura 1 (calcolo di x*): So che la soluzione ottima si ha per E = 0 ; E = 0 ; for ( i = 1 ) to n do { x * i = x i ( E ) ; E = E + a i x * i ; 6.12

13 Complessità e limiti della P.D. La complessità dell'algoritmo 1 è O(nb) (cioè è lineare, ci sono n(b+1) confronti e n(b+1) addizioni) dove b è una costante. Però lo spazio di memoria occupato dall'algoritmo 1 è costituito, in ogni momento, da 2(b+1) occupazioni di memoria (i b+1 valori di F i+1 (E) ed i b+1 valori F i (E)). Se calcoliamo anche x i (E) i=1,...,n; 0 E b, occorrono altre n(b+1) occupazioni di memoria. In TOTALE: 2(b+1) + n(b+1) = (n+2)(b+1) occupazioni di memoria. Osservazione: la complessità dell'algoritmo e lo spazio di memoria di un algoritmo di P.D. dipende dalla cardinalità dello spazio degli stati E associato al problema. Questo fatto crea dei grossi limiti all'applicazione della P.D. 6.13

14 Schema generale di problema P risolubile con P.D. F(x) = F(x1,..., xn) funzione obiettivo Supponiamo che: a) F = f1( ξ 1, ξ 2) + f2( ξ 2, ξ 3) f m 1( ξ m 1, ξ m ) Definizione: f r, r=1,...,m-1 è detta fase del problema P ed è funzione reale di x r, x r+1 (e a loro volta funzioni delle x i originali). b) valga la seguente ipotesi: per la f r (x r,x r+1 ), r=1,..., m-1, l'insieme A r di variabilità della x r dipende soltanto dalla x r+1 per r=1,..., m-1 e scriveremo: x r A r (x r+1 ), r = 1,..., m-1 Per r=m si ha x m A, ove A è un insieme fisso assegnato (salvo casi particolari) c) il problema P: max F(x) (oppure min) sia così ricondotto a: { ξ1 1( ξ2 ) ξm 1 m 1( ξm ) ξm } max F A,..., A, A 6.14

15 La soluzione di P si ottiene subito dall'applicazione del Principio di ottimalità di Bellman (1957) Se e solo se la politica (sequenza di soluzioni di sottoproblemi): ( 0 ) ( 0) ( 0) (9.1) ξ 1, ξ 2,..., ξ m è ottima per il problema P, allora "i / 1 i m-1 la politica subordinata (sotto-politica) ( 0) ( 0) ( 0) ξ, ξ,..., ξ (9.2) i i + 1 m è ottima per il problema P (i) (sotto-problema) che ha per obiettivo i F = f ξ, ξ f ξ, ξ i i i + 1 m 1 m 1 m (cioè del problema che comprende soltanto le ultime m-i fasi del problema P dato). 6.15

16 Dimostrazione: questo principio è pressochè ovvio. Infatti, se per assurdo la politica subordinata (2) non fosse ottima per P (i) e lo fosse ( 1) ( 1) invece la ξ,..., ξ allora la politica i m ( 0) ( 0) ( 1) ( 1) 1,..., i 1, i,..., m ξ ξ ξ ξ (9.3) sarebbe migliore della (9.1) per il problema P contraddicendo l'ipotesi che la (9.1) è ottima. 6.16

17 In base al principio di ottimalità la soluzione di P si scompone nei seguenti passi, ognuno dei quali fa intervenire la variabilità di una sola delle x i : Passo 1: 1 determinazione di M 1 (x 2 ): M ( ξ ) [il massimo si ottiene per x 1 =x 1 (0) (x 2 )] ξ = max f ξ, ξ ξ A (9.4) Passo 2: 2 determinazione di M 2 (x 3 ): [ ] ( ξ ) = max ( ξ, ξ ) + ( ξ ) M f M ξ A ξ (9.5) [il massimo si ottiene per x 2 =x 2 (0) (x 3 )] 6.17

18 Passo k: k in generale con 2 k m-1 determinazione di M k (x k+1 ): [ ] M ξ = max f ξ, ξ + M ξ k K ξ A k ( k k + ) k ( k ) ( ξ ) k k k + 1 (9.6) [il massimo si ottiene per x k =x k (0) (x k+1 )] Per k=m-1 si ha il valore ottimo cercato: max F = max[ M 1( ξ )] [il massimo si ottiene per x m =x m (0) ] m A m m ξ (9.7) 6.18

19 Come si calcola la soluzione ottima (o politica ottima) x (0) 1,..., x (0) m? Con il valore x m (0) A ottenuto dalla (9.7) si calcola induttivamente: ( 0 ) ( 0) ( 0 ) ξ = ξ ξ... m 1 m 1 m 2 ( 0 ) ( 0) ( 0 ) ξ = ξ ξ

20 Esempio: problema della distribuzione delle risorse Si hanno Q unità di una certa risorsa R che può essere impiegata in m modi diversi. L'utilizzo di x i 0 unità nel modo i fornisce un beneficio j i (x i ). Determinare l'impiego delle Q unità di R che renda massimo il beneficio. Max F(x 1,..., x m ) = j 1 (x 1 ) j m (x m ) s.t. x 1 + x x m = Q 6.20

21 Formulazione in P.D. Si pone: x 1 = x 1, x 2 = x 1 + x 2,..., x m-1 = x x m-1 x m = x x m = Q Allora la F diventa la somma di benefici: F= j 1 (x 1 ) + j 2 (x 2 -x 1 ) j m (x m -x m-1 ) e la variabilità delle xi è: 0 x 1 x 2, cioè A 1 (x 2 ) = (0,x 2 ) 0 x 2 x 3, cioè A 2 (x 3 ) = (0,x 3 ) : 0 x m-1 x m, cioè A m-1 (x m ) = (0,x m ) mentre x m assume soltanto il valore Q. 6.21

22 Le fasi nelle quali il problema viene decomposto sono: f 1 (x 1,x 2 )= j 1 (x 1 ) + j 2 (x 2 -x 1 ) f 2 (x 2,x 3 )= j 3 (x 3 -x 2 ) : f m-1 (x m-1,x m )=j m (x m -x m-1 ) Seguendo i passi derivanti dal principio di ottimalità si ha: M e per 2 k m-1 Il massimo cercato sarà: [ ] ξ = max f ξ, ξ = max ϕ ξ + ϕ ξ ξ ξ A ξ 0 ξ ξ ( ξ ) [ k ( k k+ ) k ( k )] 1 [ ϕ k+ 1( ξ k+ 1 ξ k ) M k 1( ξ k )] M ξ = max f ξ, ξ + M ξ = k k ξ A k k k + = max + 0 ξ k ξ k + 1 ( ξ ) max F = max[ M ] = M ( Q) m A m 1 m m 1 ξ (perché A={Q}) 6.22

23 Riassumendo 6.23

24 PROGRAMMAZIONE DINAMICA Molte strategie di soluzione di problemi di ottimizzazione richiedono di risolvere più volte lo stesso sottoproblema. La programmazione dinamica diventa efficiente quando uno stesso sottoproblema si ripresenta per più di una sequenza di decisioni; l idea fondamentale è di memorizzare le soluzioni di questi sottoproblemi, in modo tale che possano essere utilizzate nel caso in cui si richieda di risolvere un sottoproblema risolto in precedenza. Questa semplice idea può permettere di trasformare algoritmi con complessità esponenziale in algoritmi con complessità polinomiale ma grande occupazione di memoria su calcolatore. 6.24

25 Lo sviluppo di un algoritmo di programmazione dinamica può essere diviso in quattro fasi o passi: 1) Caratterizzazione della struttura di una soluzione ottima. 2) Definizione ricorsiva del valore di una soluzione ottima. 3) Calcolo del valore di una soluzione ottima con una strategia bottom-up. 4) Costruzione di una soluzione ottima a partire dalle informazioni calcolate. Le fasi 1-3 definiscono la base di una soluzione di programmazione dinamica di un certo problema. Nel caso si debba determinare solamente il valore di una soluzione ottima, il passo 4 non viene preso in considerazione. Tuttavia, quando è richiesto di costruire una soluzione ottima, durante i calcoli del passo 3 possono venire memorizzate informazioni ausiliarie che facilitano l esecuzione del passo

26 Gli esempi formulati dovrebbero aver messo in luce il fatto che la funzione obiettivo viene spezzata in una somma di f.o. parziali, in una somma di benefici;(se il problema è di max), poiché il problema verrà risolto partendo dal fondo, le soluzioni sono parametrizzate, e vanno a formare una catena da cui è possibile ricavare la soluzione ottima; se l ottimo locale non fosse parametrizzato, si chiuderebbero inevitabilmente delle strade e si ricadrebbe nel greedy. Quindi non bisogna confondere l approccio della programmazione dinamica con l approccio greedy, in cui l idea di base è adottare una strategia di scelta che privilegia le decisioni che localmente appaiono migliori (ottimi locali); anche se questi metodi a volte forniscono una soluzione ottima molto più velocemente di un metodo di programmazione dinamica, tuttavia, non si è in grado di dimostrare che tale soluzione è veramente ottima. 6.26

27 Forse il limite maggiore della programmazione dinamica è quello emerso quando ci siamo occupati della sua complessità nel caso del K.P.; se infatti la complessità computazionale dell algoritmo è polinomiale, lo spazio occupato di memoria limita l applicazione del metodo a quei casi in cui la cardinalità dello spazio degli stati associato al problema non è troppo elevata. Non dovrebbe infine stupire nessuno il fatto che risolvendo, come abbiamo fatto, il problema del cammino minimo attraverso i principi della programmazione dinamica enunciati da Bellman, si applica in pratica (né più, né meno) l algoritmo per la ricerca del cammino minimo di Bellman affrontato nella sezione sui flussi su reti. 6.27

28 Risolvere con la Programmazione Dinamica il seguente "Knapsack Problem" 0/1 max 15 x s. t. 5 x x i x x { 0,1} i = 1, K, x x x x

29 Passo 1 n = 4 F E 4 = 0 per E > 5 31 per E 5 Passo 2 n = 3 0 per E > 10 F3 ( E) = max { F4 ( E), c3 + F4 ( E + a3) } = 25 per 5 < E per E 5 n = 2 0 per E > per 10 < E 15 F2 ( E) = max { F3( E), c2 + F3 ( E + a2) } = 25 per 5 < E per 0 < E 5 45 per E =

30 n = 1 { } max, F E = F E c + F E + a = per E > per 15< E per 10 < E per 5 < E per 0 < E 5 46 per E =

31 F F F F 4 Soluzione ottima F * = F 1 (0) = 46 Individuazione di x * x x x x Si ottiene: x 1 = 1, x 2 = 0, x 3 = 0, x 4 =