Problema del rappresentante o dei turisti

Transcript

1 Algoritmi greedy

2 Filosofia utilizzata in pb. di ottimizzazione strategia euristica di cui è necessario valutare la bontà effettuano localmente una scelta ottima non ripensabile (definitivamente inclusa o esclusa) per raggiungere un ottimo globale la scelta dipende solo da quelle già fatte ma non dalle future approccio top-down mentre dinamica è bottom-up algoritmo greedy(a ={a 1,,a n }=insieme di candidati)sottoinsieme S di A S=vuoto Ordina A per appetibilità crescente Per (i=1;i<=n;i++) Se a i può essere aggiunto a S allora S=SUa i Restituisci S

3 Problema del rappresentante o dei turisti

4 Modello Partenza: (0,0) Passi: (i,j-1) s(i,j) (i-1,j) a(i,j) (i,j) Destinazione: (n-1,m-1)

5 Scelta greedy Ad ogni incrocio prendere la strada con un peso maggiore

6

7

8

9 Greedy

10 Valutazione scelta greedy Corretta NON ottima

11 Il problema del resto

12 Scelta greedy Utilizzare la moneta di valore massimo

13

14 Funziona?

15 Esempio Sia r = 77, c0 = 7, c1 = 3, c2 = 1 Ottimo cambio per 77 = 7 11 Sia r = 4, c0 = 2, c2 = 1 Ottimo cambio per 4 = 2 2 Sia r = 77, c0 = 50, c1 = 20, c2 = 10, c3 = 5, c4 = 1 Ottimo cambio per 77 = = = = = 1

16 Termina

17

18 Esempio Non sempre la tecnica golosa riesce a restituire l ottimo Sia r = 40, c0 = 25, c1 = 20, c2 = 10, c3 = 5 cambio per 40 = 25 + (10+5) Ottimo cambio per 40 = Non sempre la tecnica golosa riesce a restituire il resto adatto anche se è possibile Sia r = 70, c0 = 60, c1 = 50, c2 = 20 cambio greedy per 70 = Ottimo cambio per 70 =

19 Valutazione della scelta greedy In generale il pb. di sapere quando la scelta greedy per il pb. del resto restituisce una soluzione ottima è NP-completo

20 Quando è ottimo? Se l insieme dei valori delle monete contiene la rappresentazione binaria di r allora l algoritmo greedy è corretto e ottimo essendo la rappresentazione binaria golosa 77 = = e c0=64, c1=8, c2=4, c3=1

21 Se l insieme dei valori delle monete è fissato e allora la scelta greedy è corretta c0=10, c1=5, c2=1 89 = La scelta greedy è anche ottima se: r = n o 10 + n n 2 1 è t.c. n 1 1, n d i i i r n c mod mod5 5 ) (2 ' ' r n n n n r r r n n n n r

22 Siano c0 = 50, c1 = 25, c2 = 10, c3 = 5, c4 = 1 e c k la prima moneta usata da goloso ma non da ottimo Sia s la somma dei valori per il loro numero usati da ottimo tranne c k e da c k+1 fino a c d-1 Mostriamo che non e possibile: k = 4: ovvio k = 3: per ottimalità s 4 < 5 k = 2: per ottimalità s = 9 < 10 due monete da 5 sono peggio di una da 10 tre monete da 5 sono peggio di una da 10 e una da 5 quattro monete da 5 sono peggio di due 10 cinque monete da 5 non sono minori di 25 k = 1: per ottimalità s = 24 < 25 (analogo k = 2) k = 0: per ottimalità s = 49 < 50 (analogo k = 2)

23 Sequenziamento di attività

24 Formulazione Dato il tempo di servizio di n job t 1,., t n, sia T(i) il tempo di esecuzione di ciascuno. Determinare l ordine in cui processare gli n job in modo da minimizzare il tempo totale di permanenza nel sistema.

25 Esempio Nella coda di un server di posta elettronica sono presenti 3 messaggi che attendono di essere recapitati ai loro destinatari con messaggio tempo 1 50msc 2 100msc 3 3msc Quale dei 6 ordini di recapito è preferibile?

26 Algoritmo di forza bruta T(n)=O(n!)

27 t 1 =50msc, t 2 =100msc, t 3 =3msc Il server è cmq. impegnato per 153msec. ordine t totale t medio (50+100)+( )= , (50+3)+( )=256 85, (100+50)+( )= , (100+3)+( )= , (3+50)+( )=209 69, (3+100)+( )=259 86,3

28 Scelta greedy Processare per primo il job che richiede il minore tempo di esecuzione

29 Ordinamento crescente ottimo Restituisce la permutazione dei job a seguito dell ordinamento

30

31 Ordinamento stabile o no? Se l inserimento dei tempi è in base all ingresso nel sistema allora la stabilità garantisce un criterio FIFO

32 Valutazione della scelta greedy La scelta greedy è corretta e ottima ottimo t c t j S1O S2O S2O > S2G goloso t j S1G S2G t c

33 Complessità data dall ordinamento T(n)=O(nlogn)

34 Pianificazione di attività

35 Formulazione

36 Inizio

37 Settaggio della matrice di compatibilità tra l attività i e j i i i j j j j i

38 Generazione esaustiva ricorsiva dei sottoinsiemi

39 Massimo parziale compatibile

40 Algoritmo di forza bruta T(n)=O(2 n )

41 Scelta golosa?

42 Esempio cattivo

43 Scelta golosa?

44 Esempio cattivo

45 Scelta golosa?

46 Esempio cattivo

47 Scelta golosa!

48 [inizio,fine) Esempio

49 vettore t: indici 0 1 inizio fine

50 Ordinamento crescente ottimo in base al tempo di fine

51

52 Ordinamento stabile o no? Un ipotetico doppio ordinamento crescente stabile su inizio e successivamente su fine massimizza l utilizzo della macchina

53 Valutazione della scelta greedy La scelta greedy è corretta e ottima

54 goloso ottimo

55 Complessità data dall ordinamento T(n)=O(nlogn)

56 Il problema dello zaino 0-1

57 Scelta golosa? Scegliere l oggetto in base al valore selezionare quello che ha maggiore valore e peso compatibile con la capacità dello zaino

58 maxw=50 w v o o o maxw valore oggetto 1 2

59 Esempio cattivo maxw=50 w v o o o o maxw valore oggetto 1 4

60 Scelta golosa! Scegliere l oggetto in base al valore selezionare quello che ha maggiore valore e peso minore tra quelli di pari valore e cmq. compatibile con la capacità dello zaino

61 Ordinamento stabile o no? Se l inserimento degli oggetti è in base al loro arrivo allora la stabilità sul peso garantisce un criterio FIFO La stabilità sul valore è necessaria per migliorare la scelta golosa

62 Scelta greedy: oggetto di valore massimo senza inversione ordine maxw=50 w v o o o maxw valore oggetto 3 2 OTTIMO

63 Scelta greedy: oggetto di valore specifico massimo senza inversione ordine maxw=50 w v v/w o o o maxw valore oggetto 3 2 OTTIMO

64 Lasciando inalterato l ordine le performance sono le medesime

65 Scelta greedy: oggetto di valore massimo con inversione ordine maxw=50 w v o o o maxw valore oggetto 3 2 OTTIMO

66 Scelta greedy: oggetto di valore specifico massimo con inversione ordine maxw=50 w v v/w o o o maxw valore oggetto 1 2 NON OTTIMO

67 Rilassamento condizione sull ultimo bagaglio: oggetto di valore massimo senza inversione ordine maxw=55 w v o o o maxw valore oggetto 3 2 ½ di 1 OTTIMO

68 Rilassamento condizione sull ultimo bagaglio: oggetto di valore specifico massimo senza inversione ordine maxw=55 w v v/w o o o maxw valore oggetto 3 2 ½ di 1 OTTIMO

69 Lasciando inalterato l ordine le performance sono le medesime

70 Rilassamento condizione sull ultimo bagaglio: oggetto di valore massimo con inversione ordine maxw=50 w v maxw o valore o oggetto 3 2 o NON OTTIMO

71 Rilassamento condizione sull ultimo bagaglio: oggetto di valore specifico massimo con inversione ordine maxw=50 w v v/w o o o maxw valore oggetto 1 2 2/3 di 3 OTTIMO

72 La scelta precedente funziona potendo inserire parti di un oggetto maxw=50 w v v/w o o o maxw valore oggetto 1 2 2/3 di 3

73 Quale scelta greedy? v rilassato v/w

74

75

76

77

78 Complessità O(nlogn) per l ordinamento

79 Bin packing

80 . Formulazione Dato un numero naturale C = capacità di ciascun bin e n naturali a 1,., a n ( C)( trovare una partizione B 1,.,B k degli n numeri naturali e con k minimo t.c. a i B j ai C, j 1,..., k

81 Algoritmo next-fit Inserisci a 1 in B 1, j=1 Per ogni a i i>1 Se B j ha spazio inserisce a i in B j altrimenti alloca un nuovo bin e inseriscici a i

82 Esempio C=80

83 capacità bin numero oggetti

84 E corretto?

85 E corretto?

86

87 Valutazione della scelta greedy Next-fit usa al più il doppio del numero minimo di bin utilizzabili A= a 1 +.+a n = B 1 +.+B k min k A C k pari: A= a 1 +.+a n = (B 1 + B 2 )+.+(B k-1 + B k ) essendo B j + B j+1 >C allora A>k/2 *C da cui k<2*a/c

88 k dispari: A= a 1 +.+a n = (B 1 + B 2 )+.+(B k-2 + B k-1 )+ B k essendo B j + B j+1 >C allora A>(k-1)/2 *C + B k da cui k 2*A/C Da cui l asserto k A 2 2min k C

89 Esempio Sia C = 2m e a 1,., a 4m = m,1,m1,,m,1 Soluzione ottima alloca k=m+1 bin Next-fit alloca 2m bin

90 Algoritmo first-fit Per ogni a i,i=1,,n j=1 Fino a che ci sono bin allocati Se B j ha spazio inserisce a i in B j altrimenti j=j+1 alloca un nuovo bin e inseriscici a i

91 E corretto?

92 E corretto?

93 First-fit

94 Esempio C=80 senza ordinamento con ordinamento: scelta greedy

95 T worst ( n) O( n 2 ) Si verifica con a i =C/2+1

96 Codifica testi

97 Codici binari 1) a lunghezza fissa ASCII, ASCII esteso, UNICODE su alfabeti di cardinalità limitata A, T, G, C

98

99

100 Codici binari 2) a lunghezza variabile con separatore Morse SOS = --- prefix-free: nessuna parola di codice è prefisso di un altra parola di codice

101 Non prefix-free

102 Codici a lunghezza fissa sprecano molti bit simboli più frequenti dovrebbero essere codificati con parole più corte

103 bit vs bit Carattere a b c d e f N. apparizioni lunghezza fissa lunghezza variabile Codifica di decba: Decodifica di :

104 Lunghezza fissa a b c d e f

105 Lunghezza variabile a c b d f e

106 Alberi binari e codici bifix-free

107

108 Costo: numero di bit per codificare un file B( T ) i f ( i ) d T ( i ) d T ( i ) profondità della foglia con etichetta i

109 Carattere a b c d e Frequenza Codice Codice B(codice a lunghezza fissa) = 3 * 100 = 300 B(T1) = (2*75) + (3*25) = 225 B(T2) = (2*77) + (3*23) = 223

110 Scopo Dato un alfabeto e le frequenze con cui i caratteri appaiono in un testo, determinare un codice a lunghezza variabile prefix-free con minore costo 1. Approccio esaustivo troppo costoso 2. Codici di Huffman basato su corrispondenza tra codici binari prefixfree e alberi binari

111 Codice di Huffman

112 Algoritmo greedy

113 Esempio Determinare il codice di Huffman per CIAOO MAMMA

114 carattere m a o i c frequenza

115 c: 1 i: 1 o: 2 a: 3 m: 3

116 ci:2 o: 2 a: 3 m: c: 1 i: 1

117 cio:4 0 1 a: 3 m: 3 ci:2 o: c: 1 i: 1

118 cio:4 0 1 am:6 0 1 ci:2 0 1 o: 2 a: 3 m: 3 c: 1 i: 1

119 cio:4 0 1 am:6 0 1 ci:2 0 1 o: 2 a: 3 m: 3 c: 1 i: 1

120 am:6 0 1 cio:4 0 1 a: 3 m: 3 ci:2 0 1 o: 2 c: 1 i: 1

121 CIAOOMAMMA codificato ASCII CIAOOMAMMA algoritmo di Huffman

122

123 i: a: o: 9.83 m: 2.51 c: 4.5

124 CIAOOMAMMA codificato ASCII CIAOOMAMMA algoritmo di Huffman frequenza assoluta: frequenza relativa:

125 continua

126 Esempio carattere a b c d e f frequenza

127 f: 5 e: 9 c: 12 b: 13 d: 16 a: 45

128 c: 12 b: 13 d: a: f: 5 e: 9

129 d: 16 a: f: 5 e: 9 c: 12 b: 13

130 a: 45 c: 12 b: d: f: 5 e: 9

131 a: c: 12 b: d: f: 5 e: 9

132 (45+((12+13)+((5+9)+16))) a: c: 12 b: d: f: 5 e: 9

133 Min Heap binari

134

135

136 =(5+9)

137 13 14 =(5+9) 16 45

138 14 =(5+9) 45 16

139 14 =(5+9) 25 =(12+13) 16 45

140 16 25 =(12+13) 45

141 25 =(12+13) 45

142 25 =(12+13) 45 =((5+9)+16) 30

143 30 =((5+9)+16) 45

144 45

145 45 55 =((12+13)+((5+9)+16))

146 100 =(45+((12+13)+((5+9)+16)))

147 Implementazione con code Due code fq, sq 1.Ordina i simboli in ordine non decrescente di frequenza 2.Inserisci in fq tutte le frequenze (radici degli alberi) in modo che il simbolo con minima frequenza sia in testa a fq 3.Fintanto che ci sono almeno due nodi nelle code fq e sq 1.Estrai dalle due code le due radici con frequenza minima esaminando le teste delle due code 2.Crea una nuova radice (con figli le due radici appena estratte) con frequenza la somma delle frequenze dei figli 3.Inserisci la nuova radice nella coda sq 4.Il nodo rimasto è la radice dell albero finale

148 Code fq sq testa first coda last

149 fq sq 14 (5+9)

150 fq sq 14 (5+9) 25 (12+13)

151 fq 45 sq 25 (12+13) 30 ((5+9)+ 16)

152 fq 45 sq 55 ((12+13)+((5+9)+16))

153 fq sq 100 (45+((12+13)+((5+9)+16)))

154 Casi coda fq = 0 e sq >= 2 fq = 1 e sq >= 1 fq >= 2 e sq = 0 fq >= 2 e sq = 1 fq >= 2 e sq >= 2 fm=fq1, sm=fq2 fm=sq1, sm=sq2 fm=fq1, sm=sq1 fm=sq1, sm=fq1

155

156

157

158

159 Come scrivere il file di input?

160

161 Lemma 1 f ( i ) Dato un alfabeto siano la frequenza di. Siano x, y con frequenza i minore. Allora esiste sempre un codice prefisso ottimo dove i codici associati a x e y hanno la stessa lunghezza e differiscono solo per l ultimo bit

162 x b y y b c x c T T

163 0 )) ( ) ( ))( ( ) ( ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ') ( ) ( ' ' x d b d x f b f b d b f x d x f b d b f x d x f T B T B T T T T T T

164 b b y c x c x y T T

165 ottimo essendo '') ( ) ( '') ( ) ( '') ( ') ( ') ( ) ( T T B T B T B T B T B T B T B T B '') ( ) ( T B T B

166 L algoritmo che costruisce un albero ottimo mediante una sequenza di operazioni di fusione può sempre iniziare con una scelta greedy dei due caratteri con la frequenza più piccola da fondere insieme

167 Lemma 2 Sia T un albero binario completo che rappresenta un codice prefisso ottimo per un alfabeto con funzione di frequenza f ( i ), i. Siano x e y due qualsiasi caratteri che appaiono come foglie dello stesso padre z in T. Si consideri z come carattere con frequenza f(z) = f(x)+f(y). Allora l albero T = T - {x,y} rappresenta un codice prefisso ottimo per = - {x,y} + {z}

168 )) ( ) ( ( ') ( ) ( )) ( ) ( ( ) ( ) ( 1) ) ( ))( ( ) ( ( ) ( ) ( ) ( ) ( 1 ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ') ( e ) ( ) (,, ', ' ' ' ' ' ' ' y f x f T B T B y f x f z d z f z d y f x f y d y f x d x f z d y d x d d f d f z d z f y d y f x d x f T B T B d d y x z y x y x T T T T T T T T T i T i i T i T T T i T i T i

169 Se T non è ottimo allora esiste T t.c. B( T '') B( T ') B( T '') f ( x) f ( y) B( T ) ASSURDO essendo T ottimo

170 Teorema L algoritmo di Huffman restituisce un codice prefisso ottimo

171 Conclusioni greedy rappresentante resto sequenziamento att. selezione att. zaino 0-1 bin packing codici Huffman corretto ottimo

172 RLE Con separatore =

173 Algoritmo LZW (Lempel - Ziv Welch) sfrutta la presenza di sottostringhe ripetute nei dati da comprimere. A partire da un dizionario contenente i simboli dell alfabeto, si inseriscono le sottostringhe che si incontrano esaminando il dato da comprimere.

174 Σ = {A,C,G,T} T=ACGTACGTACG I S 0 A 1 C 2 G 3 T

175

176 ACGTACGTACG codificato ASCII ACGTACGTACG algoritmo LZW

177 continua Σ = {,,, } T= LZW =