Sommario della lezione:

Transcript

1 Sommario della lezione: Metodologie per il progetto di algoritmi: La Tecnica Divide et Impera Esempi di applicazione a: Ricerca del massimo e minimo di una sequenza di numeri Calcolo di potenze di numeri Moltiplicazione di interi Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 1/25

2 Paradigma generale di algoritmi basati su D&I Algoritmo D&I(x) if x é sufficientemente piccola o semplice then return adhoc(x) (% ovvero risolvi x direttamente) else decomponi x in l istanze piú piccole x 1,x 2,...,x l for i = 1 to l do y i D&I(x i ) (% ovvero risolvi ricorsivamente ciascuna x i ) componi le sottosoluzioni y i alle istanze x i per ottenere una soluzione globale y alla istanza completa x Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 2/25

3 Primo esempio: Ricerca binaria Problema: Dato un array ordinato A[1...n], ed un elemento x in A, trovare l indice i per cui A[i] = x SEARCH(A,x,l,r) %(trova x in A[l...r]) if l = r then return(l) else m = (l + r)/2 if x A[m] % istanza piccola then return(search(a, x, l, m)) % inizio fase decomposizione else return(search(a,x,m + 1,r)) % inizio conquer Posto T(n) il numero di confronti nel caso peggiore effettuati da SEARCH(A,x, 1,n) abbiamo che T(n) = 0 se n = 1 e T(n) = T(n/2) + 1 altrimenti, T(n) = Θ(log n) Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 3/25

4 Secondo esempio: MERGESORT Problema: Dato un array A[1...n], ordinare i suoi elementi. Adottando la tecnica Divide et Impera procederemo nel modo seguente: MERGESORT(A) 1. Se n = 1, restituisci A. 2. Altrimenti, dividi A in due metá uguali X e Y. 3. Ordina X e Y, chiamando ricorsivamente MERGESORT(X) e MERGESORT(Y ) 4. Combina i due array ottenuti al passo 3. in un unico array ordinato e restituiscilo Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 4/25

5 Esempio di esecuzione di MergeSort Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 5/25

6 Analisi di MERGE SORT MERGESORT(A[1...n]) if n = 1 then return A else A 1 MERGESORT(A[1... n/2 ]) A 2 MERGESORT(A[ n/ n]) return MERGE(A 1,A 2 ) Analisi: T(1) = Θ(1) T(n) = 2 T(n/2)+Θ(n) da cui T(n) = Θ(n log n) Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 6/25

7 Ricerca di Massimo e Minimo di un Array Problema. Trova l elemento di valore massimo e quello di valore minimo in un array S[1...n]. Quanti confronti tra elementi di S occorrono? Algoritmo semplice. max = S[1] for i = 2 to n do if S[i] > max then max = S[i] min = S[1] for i = 2 to n do if S[i] < min then min = S[i] (# di confronti tra elementi di S) = 2(n 1) (si puó migliorare a 2n 3) Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 7/25

8 Uso di Divide et Impera nel calcolo del max e min 1. Se l array ha 2 elementi, risolvi il problema direttamente, altrimenti dividi l array in metá 2. Trova il massimo ed il minimo in ciascuna metá ricorsivamente 3. Ritorna il massimo dei due massimi ed il minimo dei due minimi trovati al passo 2. MAXMIN(x,y) % ritorna il max e min in S[x... y] if y x 1 then return(max(s[x], S[y]), min(s[x], S[y])) else (max 1, min 1)=(MAXMIN(x, (x + y)/2 ) (max 2, min 2)=(MAXMIN((x + y)/2 + 1,y) return(max(max 1, max 2), min(min 1, min 2)) Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 8/25

9 Analisi di MaxMin Assumiamo che n sia potenza di 2 e sia T(n) il numero di confronti effuato da MaxMin MaxMin chiama se stessa 2 volte su array di taglia n/2, eseguendo quindi 2T(n/2) confronti MaxMin effettua un altro confronto per calcolare il max a partire da (max 1, max 2) ed un altro per calcolare il min a partire da (min 1, min 2). In totale T(n) = 1 se n = 2 2T(n/2) + 2 altrimenti Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 9/25

10 T(n) =? (ricordando che n = 2 i ) T(n) = 2T(n/2) + 2 = 2(2T(n/4) + 2) + 2 = 4T(n/4) = 8T(n/8) = 2 i 1 T(n/2 i 1 ) + = 2 log n 1 T(2) + = n/2 + (2 log n 2) i 1 j=1 log n 1 j=1 2 j 2 j = n/2 + n 2 = 1.5n 2 Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 10/25

11 Nota Sia nel caso del MERGESORT che dell algoritmo MAXMIN abbiamo diviso il problema originale in due sottoproblemi di taglia uguale. É stato un caso? NO. In generale, la tecnica Divide et Impera produce algoritmi efficienti quando riusciamo a dividere il problema originale in sottoproblemi di taglia piú o meno simile, bilanciando quindi il lavoro da fare tra le varie chiamate ricorsive dell algoritmo sui rispettivi sottoproblemi. Inoltre, in generale, nella tecnica D&I si ricorre su sottoproblemi di taglia sempre minore, fin quando essi non abbiano una taglia talmente piccola da essere risolti direttamente, ovvero attraverso una qualche semplice procedura non ricorsiva. Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 11/25

12 Ricordiamo il paradigma generale di algoritmi basati su D&I AlgoritmoD&I(x) if x é sufficientemente piccolo o semplice then return adhoc(x) else decomponi x in istanze piú piccole x 1,x 2,...,x l for i = 1 to l do y i D&I(x i ) componi le y i per ottenere una soluzione y ad x return y Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 12/25

13 Applicazione di D&I al Calcolo di Potenze Problema: Dato un numero a ed un intero positivo n, calcolare a n usando il minor numero di moltiplicazioni. Algoritmo semplice SLOWPOWER(a, n) x a for i = 2 to n do x x a return x (# di moltiplicazioni effettuate da SLOWPOWER(a, n))=n 1 Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 13/25

14 Applicazione di D&I al Calcolo di Potenze Per applicare D&I osserviamo che a n = a n/2 a n/2 Inoltre, a n/2 = a n/2 se n é pari, e a n/2 = a a n/2 se n é dispari. Algoritmo veloce FASTPOWER(a, n) if n = 1 return a else x FASTPOWER(a, n/2 ) if n é pari return x x if n é dispari return x x a Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 14/25

15 Complessitá di FASTPOWER(a, n) FASTPOWER(a, n) if n = 1 return a else x FASTPOWER(a, n/2 ) if n é pari return x x if n é dispari return x x a T(1) = 0. In generale T(n) T(n/2) +2. Assumendo n = 2 k, abbiamo T(n) T(n/2) + 2 T(n/4) = T(n/4) T(n/2 k ) + 2k = 2 log n Quindi con D&I possiamo calcolare a n usando O(log n) moltiplicazioni, contro le n 1 dell algoritmo semplice. Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 15/25

16 Applicazione di D&I alla Moltiplicazione di Interi Come si moltiplicano due numeri? abbiamo appreso che si fà così: In seconda elementare = Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 16/25

17 e vale anche per numeri in binario! = Qual è la complessità dell algoritmo che moltiplica, nel modo elementare, due numeri di n bits ciascuno? Vi sono n moltiplicazioni parziali, in ciascuna delle quali si moltiplicano n bits, in totale O(n 2 ) moltiplicazioni di bit Contando anche le addizioni, altre O(n 2 ), otteniamo che l algoritmo elementare effettua O(n 2 ) operazioni per moltiplicare due numeri di n bit Possiamo fare meglio? Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 17/25

18 Applicazione di D&I alla Moltiplicazione di Numeri Ricordiamo il paradigma centrale della tecnica D&I: dividi il problema in sottoproblemi, risolvi i sottoproblemi, e combina le relative soluzioni in una soluzione per il problema globale. In ossequio a tale paradigma, dato un numero di n bit x iniziamo a dividerlo in bit di ordine alto e bit di ordine basso, ovvero. Esempio: x = x 1 2 n/2 + x 0 x = } {{} }{{} = } {{} + } {{} x 1 x 0 x x 0 Facciamo lo stesso con l altro numero y da moltiplicare, scrivendo y = y 1 2 n/2 + y 0 Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 18/25

19 avendo scritto x = x 1 2 n/2 + x 0 e y = y 1 2 n/2 + y 0 otteniamo x y = (x 1 2 n/2 + x 0 ) (y 1 2 n/2 + y 0 ) = x 1 y 1 2 n +(x 1 y 0 + x 0 y 1 ) 2 n/2 +x 0 y 0 (1) L uguaglianza (1) riduce il problema di calcolare un singolo prodotto x y di due numeri di n bit ciascuno, nel problema di calcolare quattro prodotti (x 1 y 1, x 1 y 0, x 0 y 1, x 0 y 0 ) di numeri di n/2 bit ciascuno. Abbiamo quindi un abbozzo di algoritmo D&I: calcola ricorsivamente ciascuno dei 4 sottoproblemi, di dimensione n/2 ciascuno, e combina i risultati ottenuti usando l equazione (1). Domanda: usando la tecnica D&I, di quanto abbiamo stracciato l agoritmo appreso in seconda elementare? Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 19/25

20 Vediamo, Dobbiamo calcolare... x y = x 1 y 1 2 n +(x 1 y 0 + x 0 y 1 ) 2 n/2 +x 0 y 0 Detto T(n) il numero di operazioni che il nostro algoritmo impiega per calcolare il prodotto di due numeri di n bit, avremo che T(n) = 4T(n/2) + dn (ricordiamo: abbiamo 4 sottoproblemi di taglia n/2 ciascuno) Questa è una equazione del tipo T(n) = at(n/c) + dn, con a = 4 > 2 = c, che risolta con i metodi visti nella lezione scorsa dà... T(n) = O(n log c a ) = O(n 2 )!!! cioè la stessa complessità dell algoritmo elementare. Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 20/25

21 Dove abbiamo fallito? Abbiamo tentato di risolvere un problema di taglia n mediante 4 chiamate ricorsive a risoluzioni di problemi di taglia n/2 Possiamo diminuire il numero di chiamate ricorsive per calcolare x y = x 1 y 1 2 n +(x 1 y 0 + x 0 y 1 ) 2 n/2 +x 0 y 0? Vediamo... Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 21/25

22 Occorre calcolare x y = x 1 y 1 2 n +(x 1 y 0 + x 0 y 1 ) 2 n/2 +x 0 y 0 Partiamo da x 1 y 1 + x 1 y 0 + x 0 y 1 + x 0 y 0 = (x 1 + x 0 ) (y 1 + y 0 ) che ci possiamo calcolare con una singola chiamata ricorsiva al prodotto del numero (x 1 + x 0 ) per (y 1 + y 0 ). Se ora ci calcoliamo x 1 y 1 (con una chiamata ricorsiva) e x 0 y 0 (con un altra chiamata ricorsiva), ci possiamo calcolare x 1 y 0 + x 0 y 1 = (x 1 + x 0 ) (y 1 + y 0 ) x 1 y 1 x 0 y 0 semplicemente sottraendo x 1 y 1 e x 0 y 0 da (x 1 + x 0 ) (y 1 + y 0 ). Quindi, con solo 3 chiamate ricorsive ci siamo calcolati tutti i termini che compaiono nel prodotto x y = x 1 y 1 2 n +(x 1 y 0 + x 0 y 1 ) 2 n/2 +x 0 y 0 e possiamo calcolarci tranquillamente x y Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 22/25

23 Algoritmo D&I per il calcolo di prodotti: Recursive-Multiply(x, y) Scrivi x = x 1 2 n/2 + x 0 y = y 1 2 n/2 + y 0 Calcola x 1 + x 0 e y 1 + y 0 p Recursive-Multiply(x 1 + x 0,y 1 + y 0 ) x 1 y 1 Recursive-Multiply(x 1,y 1 ) x 0 y 0 Recursive-Multiply(x 0,y 0 ) return x 1 y 1 2 n + (p x 1 y 1 x 0 y 0 ) 2 n/2 + x 0 y 0 Detta T(n) la complessità di Recursive-Multiply(x, y) per numeri x e y n bits, avremo T(n) = 3T(n/2) + dn Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 23/25

24 Risolviamo T(n) = 3T(n/2) + dn Ricordiamo che equazioni del tipo T(n) = at(n/c) + dn, con a > c hanno come soluzione T(n) = O(n log c a ), il che, nel nostro caso ci dice T(n) = O(n log c a ) = O(n log 2 3 ) = O(n 1.59 ) migliorando, finalmente, un algoritmo da seconda elementare... Per avere una idea del miglioramento, osserviamo che n 2 17 n log 2 3 per n = 1000, n n log 2 3 per n = , e n n log 2 3 per n = Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 24/25

25 più seriamente... Idee simili possono essere usate per ottenere algoritmi efficienti per calcolare (rapidamente) la convoluzione di due vettori. Tale operazione é cruciale in molti campi dell Analisi dei Segnali ed ha applicazioni pratiche importantissime (TAC, riconoscimento vocale, compressione di immagini JPEG, riconoscimento automatico di immagini, trattamento di segnali musicali, astronomia,...) Un algoritmo per il calcolo della convoluzione di vettori basato sulle idee che abbiamo presentato ha rivoluzionato il campo dell Analisi dei Segnali. Tale algoritmo, chiamato Fast Fourier Transform (FFT), fu scoperto da Cooley e Tukey nel 1965 (sebbene Gauss nel 1805 ne avesse pensato uno simile). L algoritmo FFT é entrato nella lista Top Ten Algorithms of the Century, compilata dalla rivista Computing in Science and Engineering nel Gennaio Universitá degli Studi di Salerno Corso di Algoritmi Prof. Ugo Vaccaro Anno Acc. 2009/10 p. 25/25