Informatica II. Capitolo 13 Programmazione dinamica. Programmazione dinamica vs Divide-et-impera. Divide-et-impera Tecnica ricorsiva

Transcript

1 Programmazione dinamica vs Divideetimpera Divideetimpera Tecnica ricorsiva Informatica II Approccio topdown (problemi divisi in sottoproblemi) Vantaggioso solo quando i sottoproblemi sono indipendenti Capitolo Programmazione dinamica Vantaggioso se non si deve risolvere lo stesso sottoproblema più volte Programmazione dinamica Tecnica iterativa Approccio bottomup Vantaggiosa quando ci sono sottoproblemi in comune e si devono risolvere più volte gli stessi sottoproblemi Esempio semplice: il triangolo di Tartaglia Adattamento delle slide originali di A.Montresor. Disponibili secondo Creative Commons AttributionNonCommercialShareAlike icense. Coefficienti binomiali Triangolo di Tartaglia Versione ricorsiva Coefficienti binomiali Si ottiene direttamente dalla definizione Il numero di modi di scegliere k oggetti da un insieme di n oggetti I coefficienti di un equazione di grado n Domanda Complessità?

2 Triangolo di Tartaglia Triangolo di Tartaglia Versione ricorsiva Versione iterativa Si ottiene direttamente dalla definizione Basata su programmazione dinamica Domanda Domanda Complessità: il numero di chiamate ricorsive cresce proprio come C(n,k) Complessità? perché si deve calcolare più volte lo stesso valore Triangolo di Tartaglia Quando applicare la programmazione dinamica? Versione iterativa Si può utilizzare se valgono queste proprietà: Basata su programmazione dinamica Sottostruttura ottima è possibile combinare le soluzioni dei sottoproblemi per trovare la soluzione di un problema più grande Domanda Complessità: O(n). Infatti ogni valore è memorizzato in una tabella e quindi viene calcolato una volta sola In tempo polinomiale! le decisioni prese per risolvere in modo ottimo un problema rimangono valide quando esso diviene un sottoproblema di un problema più grande Sottoproblemi ripetuti Un sottoproblema può occorrere più volte Spazio dei sottoproblemi Ci deve essere un numero polinomiale di sottoproblemi da risolvere 7 8

3 Programmazione dinamica: cosa devo fare? Catena di moltiplicazione di matrici Caratterizzare la struttura di una soluzione ottima Problema: Data una sequenza di matrici A, A, A,, An, compatibili a al prodotto, vogliamo calcolare il loro prodotto. Definire ricorsivamente il valore di una soluzione ottima a soluzione ottima ad un problema contiene le soluzioni ottime ai sottoproblemi Cosa vogliamo ottimizzare a moltiplicazione di matrici si basa sulla moltiplicazione scalare come operazione elementare. Calcolare il valore di una soluzione ottima bottomup, cioè calcolando prima le soluzioni ai casi più semplici: Vogliamo calcolare il prodotto impiegando il numero minore possibile di moltiplicazioni Si usa una tabella per memorizzare le soluzioni dei sottoproblemi uso della tabella evita di ripetere lo stesso lavoro più volte Attenzione: Costruire la (una) soluzione ottima. Il prodotto di matrici non è commutativo......ma è associativo: (A A) A = A (A A) Si deve determinare la parentesizzazione ottima! 9 Catena di moltiplicazione tra matrici: un semplice esempio matrici: A x (A B ) ((A B ) C ) B x Catena di moltiplicazione tra matrici: un altro esempio matrici: C x # Moltiplicazioni Memoria = = ((( A B ) C ) D ) (( A ( B C )) D ) (( A B ) ( C D )) ( A (( B C ) D )) ( A ( B ( C D ))) A x B x C x D x : 87 moltiplicazioni : moltiplicazioni : moltiplicazioni : moltiplicazioni : moltiplicazioni ((( A B ) C ) D ) : 87 (B C) (A (B C)) = = (A B) (( A B ) C ) (( A B ) C ) D = = = 7 87

4 Applicare la programmazione dinamica Parentesizzazione Definizione: Una parentesizzazione Pi, del prodotto Ai Ai+ A consiste e fasi principali: nella matrice Ai se i = ; oppure Caratterizzare la struttura di una soluzione ottima Definire ricorsivamente il valore di una soluzione ottima nel prodotto di due parentesizzazioni (Pi,k Pk+,) altrimenti. Calcolare il valore di una soluzione ottima bottomup (dal basso verso l alto) Costruzione di una soluzione ottima Esempio: Nei lucidi successivi: (A (A A )) (A (A A )) k= Vediamo ora una ad una le quattro fasi del processo di sviluppo applicate al problema della parentesizzazione ottima Ultima moltiplicazione Parentesizzazione ottima Parentesizzazione ottima Parentesizzazione ottima Determinare il numero di moltiplicazioni scalari necessari per i prodotti tra le matrici in ogni parentesizzazione Determinare il numero di moltiplicazioni scalari necessari per i prodotti tra le matrici in ogni parentesizzazione Scegliere una tra le parentesizzazioni che richiedono il numero minimo di moltiplicazioni Scegliere una tra le parentesizzazioni che richiedono il numero minimo di moltiplicazioni Motivazione: Vale la pena di spendere un po' di tempo per cercare la parentesizzazione migliore, per risparmiare tempo dopo Domanda Quante sono le parentesizzazioni possibili? Motivazione: Vale la pena di spendere un po' di tempo per cercare la parentesizzazione migliore, per risparmiare tempo dopo Parentesizzazione ottima Domanda n=, n=, n=??? Quante sono le parentesizzazioni possibili? n=, n=, n=??? I numeri catalani :

5 Definizioni Struttura di una parentesizzazione ottima Un po di notazione: A A A An il prodotto di n matrici, da ottimizzare ci il numero di righe della matrice Ai ci il numero di colonne della matrice Ai A[i..] il prodotto Ai Ai+ A P[i..] una parentesizzazione di A[i..] (non necessariamente ottima) Sia A[i..] = Ai Ai+ A una sottosequenza del prodotto di matrici Si consideri una parentesizzazione ottima P[i..] di A[i..] Esiste una ultima moltiplicazione : in altre parole, esiste un indice k tale che P[i..] = P[i..k] P[k+..] Domanda: Cosa possiamo dire delle due sottoparti P[i..k] e P[k+..]? Il seguente teorema 7 Struttura di una parentesizzazione ottima 8 Struttura di una parentesizzazione ottima Teorema (sottostruttura ottima) In altre parole: Se P[i..] = P[i..k] P[k+..] è una parentesizzazione ottima del prodotto A[i..], allora P[i..k] e P[k+..] sono parentesizzazioni ottime dei prodotti A[i..k] e A[k+..], rispettivamente. Il teorema afferma che esiste una sottostruttura ottima: Ogni soluzione ottima al problema della parentesizzazione contiene al suo interno le soluzioni ottime dei due sottoproblemi Dimostrazione Per assurdo. Supponiamo esista un parentesizzazione ottima P'[i..k] di A[i..k] con costo inferiore a P[i..k] Programmazione dinamica: Allora, P'[i..k] P[k+..] sarebbe una parentesizzazione di A[i..] con costo inferiore a P[i..], assurdo (oss: il risultato deve essere lo stesso e l ultima moltiplicazione è la stessa ). 'esistenza di sottostrutture ottime è una delle caratteristiche da cercare per decidere se la programmazione dinamica è applicabile Prossima fase: Definire ricorsivamente il costo di una soluzione ricorsiva 9

6 Definire ricorsivamente il valore di una soluzione ottima Definire ricorsivamente il valore di una soluzione ottima Definizione: sia M[i,] il numero minimo di prodotti scalari richiesti per calcolare il prodotto A[i,] Ma qual è il valore di k? Non lo conosciamo... Come calcolare M[i,]?... ma possiamo provarli tutti! Caso base: i=. Allora, M[i,] = k può assumere valori fra i e Passo ricorsivo: i <. Esiste una parentesizzazione ottima P[i..] = P[i..k] P[k+..]; sfruttiamo la ricorsione: a formula finale sarà: M[i,] = mini k < { M[i,k] + M[k+, ] + ci ck c } M[i,] = M[i,k] + M[k+,] + ci ck c Prodotti per P[i..k] Prodotto di una coppia di matrici: n. righe: prima matrice n. colonne: ultima matrice Prodotti per P[k+..] Esempio Esempio i \ R i \ R M[,] = min k<{ M[,k] + M[k+,] + cckc } = min { M[,] + M[,] + ccc, M[,] + M[,] + ccc } M[,] = min k < { M[,k] + M[k+,] + cckc } = M[,] + M[,] + ccc = ccc

7 Esempio Esempio i \ R i \ R M[,] = min k<{ M[,k] + M[k+,] + cckc } = min { M[,] + M[,] + ccc, M[,] + M[,] + ccc, M[,] + M[,] + ccc } M[,] = min k<{ M[,k] + M[k+,] + cckc } = min { M[,] + M[,] + ccc, M[,] + M[,] + ccc, M[,] + M[,] + ccc, M[,] + M[,] + ccc } Esempio Calcolo bottomup del valore della soluzione i \ R Passiamo ora al terzo passo della programmazione dinamica: calcolare in modo bottomup il valore della soluzione ottima Notiamo che la definizione ricorsiva di M[i,] suggerisce di utilizzare un approccio ricorsivo topdown per risolvere il problema: Per risolvere il problema sulla sequenza completa [,n] il meccanismo ricorsivo individua i sottoproblemi da risolvere Proviamo... M[,] = min k<{ M[,k] + M[k+,] + cckc } = min { M[,] + M[,] + ccc, M[,] + M[,] + ccc, M[,] + M[,] + ccc, M[,] + M[,] + ccc, M[,] + M[,] + ccc } Input: un array c[..n] con le dimensioni delle matrici, c[] è il numero di righe della prima matrice c[i] è il numero di colonne della matrice Ai 7 8

8 Soluzione ricorsiva topdown Critica all'approccio topdown Alcune riflessioni a soluzione ricorsiva topdown è Ω(n) Non è migliore dell'approccio basato su forza bruta! Qual è il difetto? Il difetto principale è che molti problemi vengono risolti più volte. Esempio: Domanda: Complessità risultante? 9 Calcolare la soluzione ottima in modo bottomup Calcolare la soluzione ottima in modo bottomup E' illuminante osservare che il numero di possibili problemi (distinti) è molto inferiore a n. Infatti: algoritmo parentesizzazione() prende in ingresso un array c[..n] con le dimensioni delle matrici Ne esiste uno per ogni scelta di i e (con i n): c[] è il numero di righe della A c[i] è Sottoproblemi con i il numero di righe della matrice Ai+ Sottoproblemi con i = il numero di colonne della matrice Ai utilizza (e ritorna) due matrici n n ausiliarie: Ogni sottoproblema M[i,] che contiene i costi minimi dei sottoproblemi A[i..] S[i,] che contiene il valore di k che minimizza il costo per il sottoproblema È risolvibile utilizzando le soluzioni dei sottoproblemi che sono state eventualmente già calcolate e memorizzate nell'array Idea chiave della programmazione dinamica: Mai calcolare più di una volta la soluzione ad un sottoproblema

9 Algoritmo M[ ] ii\ R i ci M[,] = min k { M[,k] + M[k+,] + cckc } = min { M[,] + M[,] + ccc, M[,] + M[,] + ccc, M[,] + M[,] + ccc } = min { * 8 *, * *, **} = min { 8,, 8 } = 8 i \ R S[ ] i ci 7 8 M[,] = min k { M[,k] + M[k+,] + cckc } = min { M[,] + M[,] + ccc, M[,] + M[,] + ccc, M[,] + M[,] + ccc } = min { * 8 *, * *, **} = min { 8,, 8 } = 8 Calcolare la soluzione ottima in modo bottomup Considerazioni sull'algoritmo Costo computazionale: O(n) Nota o scopo della terza fase era calcolare in modo bottomup il valore della soluzione ottima Questo valore si trova in M[,n] Per alcuni problemi È anche necessario mostrare la soluzione trovata Per questo motivo registriamo in S[] le informazioni sulla soluzione, mentre procediamo in maniera bottomup

10 Costruire una soluzione ottima Costruire una soluzione ottima Possiamo scrivere un algoritmo che costruisce la soluzione a partire dall'informazione calcolata da parentesizzazione(). a matrice S[] ci permette di determinare il modo migliore di moltiplicare le matrici: S[i,]=k contiene il valore k su cui dobbiamo spezzare il prodotto A[i..] ovvero ci dice che per calcolare A[i..] dobbiamo prima calcolare A[i..k] e A[k+..] e poi moltiplicarle tra loro. Ma questo è un processo facilmente realizzabile tramite un algoritmo ricorsivo 7 Costruire una soluzione ottima 8 Esempio di esecuzione A = A k Ak+ = A A A = A k Ak+ =A A A = A k Ak+ =A.. A A = A k Ak+ = A A A = A k Ak+ =A A S[ ] i \ R A = ( ( A (A A) ) ( (A A ) A) ) 9

11 Un altro problema: Numeri di Fibonacci Implementazione ricorsiva Definiti ricorsivamente: F() = F() = F(n) = F(n)+F(n) Un po' di storia Complessità computazionale eonardo di Pisa, detto Fibonacci Utilizzati per descrivere la crescita di una popolazione di conigli (!) In natura: Pigne, conchiglie, parte centrale dei girasoli, etc. Soluzione T(n) = O(n) In informatica esistono strutture dati ad essi ispirate: Alberi AV minimi, Heap di Fibonacci, etc. Implementazione iterativa Implementazione iterativa. Ancora meglio: risparmio memoria Complessità: Complessità In tempo: O(n) In tempo: O(n) In spazio: O(n) In spazio: O() variabili Array di n elementi n 7 f [] 8 n 7 F 8 F 8 F 8

12 Il problema dello Zaino (Knapsack) Zaino Input Caratterizzazione del problema P(i, c) è il sottoproblema dato dai primi i oggetti da inserire in uno zaino con capacità c Un intero positivo C: la capacità dello zaino n oggetti, tali che l oggetto iesimo è caratterizzato da: Il problema originale corrisponde a P(n, C) un profitto pi e Teorema: la sottostruttura ottima Sia S(i, c) una soluzione ottima per il problema P(i, c) un volume vi, entrambi interi positivi Possono darsi due casi: Problema Se i S(i, c), allora S(i, c){i} è una soluzione ottima per il sottoproblema P(i, cvi ) trovare un sottoinsieme S di {,..., n} di oggetti tale che il volume totale non superi la capacità massima e il profitto totale sia massimo Se i S(i, c), allora S(i, c) è una soluzione ottima per il sottoproblema P(i, c) Esercizio: dimostrare il teorema [sugg: per assurdo] Zaino Memoization Tabella per programmazione dinamica Memoization (annotazione) D[i, c] contiene il profitto massimo ottenibile per il problema P(i,c) Tecnica che fonde l'approccio di memorizzazione della programmazione dinamica con l'approccio topdown di divideetimpera Quando un sottoproblema viene risolto per la prima volta, viene memorizzato in una tabella: ogni volta che si deve risolvere un sottoproblema, si controlla nella tabella se è già stato risolto precedentemente Alcune annotazioni SI: si usa il risultato della tabella Costo di un algoritmo di programmazione dinamica bottomup: O(nC) NO: Non è detto però che sia necessario risolvere tutti i sottoproblemi (dipende dai valori numerici coinvolti nell istanza del problema) si calcola il risultato e lo si memorizza In tal modo, ogni sottoproblema viene calcolato una sola volta e memorizzato come nella versione bottomup Si può adottare un approccio leggermente diverso 7 8

13 Zaino annotato Discussione su memoization Note sulla soluzione Caso pessimo è un valore speciale per indicare che un certo problema non è stato risolto Nel caso pessimo, è comunque O(nC) Gli elementi della tabella D sono inizializzati con il valore Inizializzazione E necessario inizializzare D: costo O(nC) Se il costo dell inizializzazione è asintoticamente inferiore al costo di ricombinare i risultati, si ottiene un guadagno Altrimenti: è possibile utilizzare un altra struttura dati per memorizzare D (per esempio una tabella hash) Complessità pseudopolinomiale a complessità O(nC) è polinomiale nella dimensione dell input? 9 String matching approssimato Esempio Input Input una stringa P = p pm (pattern) una stringa T = t tn (testo), con m n questoèunoscempio unesempio Definizione Domanda Un occorrenza kapprossimata di P in T, con k m, è una copia della stringa P nella stringa T in cui sono ammessi k errori (o differenze) tra caratteri di P e caratteri di T, del seguente tipo: i corrispondenti caratteri in P e in T sono diversi (sostituzione) un carattere in P non è incluso in T (inserimento) un carattere in T non è incluso in P (cancellazione) Qual è il minimo valore k per cui si trova una occorrenza kapprossimata? A partire da dove? Con quali errori? Problema: Trovare un occorrenza kapprossimata di P in T per cui k sia minimo.

14 Sottostruttura ottima Sottostruttura ottima Definizione Definizione Tabella D[...m,...n], i cui elementi D[i,] contengono il minimo valore k per cui esiste una occorrenza kapprossimata di P(i) in T() Tabella D[...m,...n], i cui elementi D[i,] contengono il minimo valore k per cui esiste una occorrenza kapprossimata di P(i) in T() D[i,] può essere uguale a D[i,], se pi = t D[i,]+, se pi t avanza su entrambi i caratteri (sostituzione) D[i,]+ avanza sul pattern (inserimento) D[i,]+ avanza sul testo (cancellazione Ricordate che cerchiamo il minimo: avanza su entrambi i caratteri (uguali) Ricostruzione della soluzione finale Algoritmo String matching approssimato Si noti che: D[m,] = k se e solo se c è un occorrenza kapprossimata di P in T che termina in t la soluzione del problema è data dal valore di D[m,] più piccolo, per n