Complessità computazionale concreta

Transcript

1 Complessità computazionale concreta Che cos è la teoria della complessità? La teoria della complessità è un tentativo di dare una risposta matematica a domande come: Cosa vuol dire che un algoritmo è più eiciente di un altro? In che senso un problema di calcolo è più diicile di un altro? Che cosa rende una unzione calcolabile praticamente trattabile? Esistono soluzioni ottimali per problemi di calcolo eettivamente risolvibili? Quali problemi si possono risolvere meglio parallelizzando? ecc. Problemi e istanze In generale un problema di calcolo è una unzione Π : Input Π Output Π ; un istanza del problema Π è un particolare x Input Π. Es. Input Π = N, Π(x) = la scomposizione in primi di x Se Π è a volori 0,1 allora si parla di problema di decisione. Es. REACHABILITY Dato un grao inito orientato G = (V,E) e due vertici u, v V, decidere se esiste un cammino in G da u a v. E un problema di decisione un istanza del quale è una tripla G, u, v.

2 Algoritmi Un algoritmo è metodo dettagliato che consente di risolvere un problema di calcolo, ossia di calcolare i valori della unzione Π. Es. Input (G =(V,E), u, v) // alg. per REACHABILITY S := {u}; M := {u}; while S do x := un elemento di S; S := S\{x}; oreach y V i (x,y) E then M := M {y}; S := S {y} i v M Output 1 else Output 0 Complessità dinamica Si misura la quantità di risorsa richiesta da ciascuna esecuzione di un algoritmo. E dunque una unzione degli ingressi: A : Input N Es. Space A (x) = quantità di memoria usata da A in x Time A (x) = numero delle operazioni elementari eseguite da A in x E talvolta espressa in termini di una dimensione: : Input N Es. n = log 2 (n+1) = lunghezza della rappresentazione binaria di n ( 0) g A Input N N Complessità nel caso peggiore: g A (n) = max{ A (x) : x = n} (che esiste se n -1 è inito oppure se A è limitata su n -1, per ogni n). Conronto tra algoritmi T B (n) = 2 n T A (n) = 100 n L algoritmo A è migliore dell algoritmo B per n > 50; Rimpiazzare B con A è meglio che raddoppiare la velocità del computer: TB (100) = 2 T (100) A TB (1000) = 20 T (1000) A

3 Conronto asintotico tra unzioni g x. (x) g(x) dove x. P(x) z x z. P(x). g g z g x. (x) g(x) dove x. P(x) z x z. P(x). Oss. x. P(x) x. P(x) x. P(x) x. P(x) La relazione è un preordine La relazione g è soltanto un preordine (rilessiva e transitiva). Inatti: g non è tricotomica, essendovi unzioni inconrontabili: (x) = 1 se x pari 0 se x dispari g(x) = 0 se x pari 1 se x dispari g non è un ordine parziale, non essendo antisimmetrica: In generale z 0. g g z x z. (x) = g(x) O-grande De. Se (x) e g(x) sono unzioni su N, allora (n) = O(g(n)) sse c R + \{0} n 0 N n n 0. (n) c g(n). c g(n) (n) n 0 A rigore O(g(n)) è un insieme di unzioni, onde si dovrebbe scrivere (n) O(g(n)).

4 Le costanti non contano Per ogni, g, e per ogni costante c > 0: (n) = O(c g(n)) (n) = O(g(n)). ) a ortiori, visto che c > 0. ) esistono d > 0 e n 0 tali che (n) d g(n), per ogni n n 0 posto = d/c (esiste perché c 0), abbiamo > 0 e (n) d g(n) = c g(n) per ogni n n 0. Eliminazione dei termini d ordine ineriore Se p(x) è un polinomio di grado a coe. in R + e x positiva allora p(x) = O(x ) i i i p ( x) = ai x ax = a x a( + 1) x i= 0 i= 0 i= 0 dove a =max{a i : 0 i }. Se q(x) è un polinomio di grado h <, allora p(x) O(q(x)): p.a. se p(x) = O(q(x)) = O(x h h ), allora a q.o. x p( x) cx h h ma a x cx x c a x h / c / a = d perché a > 0, da cui una contradd. quando x > d. Gli ordini di grandezza Ordini O(1) O(log 2 n) O(n) O(n log n) O(n 2 ) O(n 3 ) O(n p ) p > 0 O(2 n ) Funzioni costanti logaritmiche lineari n log n quadratiche cubiche polinomiali esponenziali

5 Alcune inclusioni importanti O(1) < O(log n): conseguenza del atto che log n è sup. illimitata. (n) = O(1) c n. (n) c Ma, per n 2 c, c log n deinitivamente. O(log n) < O(n): sruttando il atto che n < 2 n per ogni n, log n n n = 2 log n 2 n O(n) < O(n log n): n > 2 log n > 1 n log n > n O(n p ) < O(2 n ) Lemma. Siano, g unzioni a valori interi positivi con g(n) 0 per ogni n. Allora: ( n) lim = 0 ( n) = O( g( n)) g( n) O( ( n)) g( n) n Dall ipotesi segue che per ogni c > 0, 0 (n)/g(n) < c q.o., quindi (n) < c g(n) q.o., ossia (n) = O(g(n)). P.a. g(n) = O( (n)): allora esiste d > 0 t.c. g(n) d (n) q.o. Poiché g ha valori int. positivi non nulli, 1/ d (n)/g(n) q.o., mentre dovrebbe essere, deinitivamente, 0 (n)/g(n) < c per ogni c > 0. Corollario. O(n p ) < O(2 n ): perché lim n n p /2 n = 0. O-grande ed o-piccolo Se (n) = O(g(n)) e g h, allora (n) = O(h(n)): quanto buono è questo conine superiore? De. (n) = o(g(n)) sse c > 0 n. 0 (n) < cg(n). Se (n) = o(g(n)) allora è un ininitesimo di g, quindi g non è un conine superiore stretto di. Osserviamo inatti che, se g è positiva non nulla: ( n) ( n) = o( g( n)) lim = 0 n g( n)

6 Algebra di O-grande (1) Deiniamo: (n) + O(g(n)) = {h : g O(g(n)). n. h(n) (n) + g (n)} (n) O(g(n)) = {h : g O(g(n)). n. h(n) (n) g (n)} Allora ne segue: (n) + O(g(n)) = O( (n) + g(n)) (n) O(g(n)) = O( (n) g(n)). Similmente deiniamo O( (n)) + O(g(n)) = {h : O( (n)) g O(g(n)) n. h(n) (n) + g (n)}, ed O( (n)) O(g(n)) analogamente. Algebra di O-grande (2) Ne deriva: (n) = O( (n)) c O( (n)) = O( (n)) c costante O( (n)) + O(g(n)) = O( (n) + g(n)) O( (n)) + O( (n)) = O( (n)) g O( (n)) + O(g(n)) = O(g(n)) O( (n)) O(g(n)) = O( (n) g(n)) Perciò ad esempio: O(1) + O(1) = O(2) = O(1) ma n O(1) = O(n) (n è una variabile!) Una semplice applicazione IdentityMatrix (Matrix A, int n) // costruisce la matrice identità di ordine n or i := 1 to n do or j := 1 to n do A[i,j] := 0; // T 1 or i := 1 to n do A[i,i] := 1; // T 4 T 2 T 5 T 3 T 1 (n) c 1 = O(1) T 3 (n) = n T 2 (n)= n O(n) = O(n 2 ) T 2 (n) = n T 1 (n)= n O(1) = O(n) T 4 (n) c 2 = O(1) T 5 (n) = n T 4 (n)= n O(1) = O(n) T(n) = T 3 (n) + T 5 (n) = O(n 2 ) + O(n) = O(n 2 + n) = O(n 2 )

7 Ω e Θ De. Supposto che g sia asintoticamente non negativa: (n) = Ω(g(n)) sse c R + \{0} n 0 N n n 0. c g(n) (n). (n) = Θ(g(n)) sse c 1,c 2 R + \{0} n 0 N n n 0. c 1 g(n) (n) c 2 g(n). Teor. (n) = Θ(g(n)) (n) = O(g(n)) (n) = Ω(g(n)). Notazione asintotica (x) = O(g(x)) c > 0 x. (x) c g(x) (x) = Ω(g(x)) c > 0 x. c g(x) (x) (x) = Θ(g(x)) c 1, c 2 > 0 x. c 1 g(x) (x) c 2 g(x) c g c g c 2 g c 1 g (x) = O(g(x)) (x) = Ω(g(x)) (x) = Θ(g(x)) Relazioni di ricorrenza Sono equazioni, o diseguaglianze, in cui una unzione viene descritta in termini dei suoi valori su argomenti più piccoli: T(n) = Θ(1) se n = 1 2T(n/2) + Θ(n) se n > 1 Sempliicazioni: 1. Le unzioni si assumono deinite su R. 2. Il caso di base si trascura.

8 Il metodo di sostituzione (1) Si indovina la soluzione Si veriica induttivamente che la soluzione sia tale. T(n) = 2T(n/2) + n Soluzione: T(n) c n log n T(n) 2 (c (n/2) log (n/2)) + n ip. ind. = c n log (n/2) + n = c n log n cnlog 2 + n = c n log n cn+ n c n log n (se c 1) Il metodo di sostituzione (2) Quanto vale c? Se T(1) = 1, allora T(1) c 1 log 1 = 0 non può valere! Ma T(2) c 2 log 2, T(3) c 3 log 3, valgono per c 2. Tanto basta: il conine superiore cercato è asintotico. Attenzione: indovinando T(n) = cnsi può dimostrare la tesi T(n) = O(n): T(n) 2(c n/2) + n ip. ind. = c n + n = O(n) Errore!!! Il metodo di iterazione Sviluppare l equazione sino ad ottenere una somma di termini che dipendono da n e dalle condizioni iniziali: T(n) = n + 4T(n/2) = n + 4 (n/2 + 4 T(n/4)) = n + 2n (n/4 + 4 T(n/8) ) = n + 2n + 4n (n/8 + 4 T(n/16) ) = n + 2n lg (n-1) n + 4 lg n T(1) = n ( lg (n-1) ) + n 2 Θ(1) = n (2n 2) + Θ(n 2 ) = 2n 2 2n + Θ(n 2 ) = Θ(n 2 )

9 Il metodo principale Si basa su un teorema: Teor. (versione sempliicata) Siano a 1, b > 1 e c 0 delle costanti. T(n) sia deinita dalla seguente ricorrenza: T(n) = a T(n/b) + Θ(n c ), dove n/b rappresenta n/b oppure n/b. Allora: 1. se c <log b a allora T(n) = Θ(n log b a ), 2. se c =log b a allora T(n) = Θ(n c log n), 3. se c >log b a allora T(n) = Θ(n c ). Esempi Il tempo di calcolo per l algoritmo DI-Min-Max soddisa la ricorrenza: T(n) = 2 T(n/2) + Θ(1) a = b = 2 c = 0 < 1 = log b a Caso 1 del teorema principale: T(n) = Θ(n log 2 2 ) = Θ(n) Il tempo di calcolo per l algoritmo Merge-Sort soddisa la ricorrenza: T(n) = 2 T(n/2) + Θ(n) a = b = 2 c = 1 = log b a Caso 2 del teorema principale: T(n) = Θ(n c log n) = Θ(n log n) Conini ineriori ed ottimalità Un problema di calcolo Π ha conine ineriore alla complessità g se qualunque algoritmo per Π è Ω(g(n)). Se Π ha conine ineriore g ed esiste un algoritmo di complessità O(g(n)), allora tale algoritmo sarà ottimo per Π. Nota. Si ricordi che la complessità è valutata nel caso peggiore, e sempre in rapporto ad una risorsa (spazio, tempo, ecc.)

10 Conini banali Dimensione dei dati: quando è necessario esaminare tutti i dati in ingresso, ovvero generare tutti i dati in uscita. Es. La moltiplicazione di due matrici quadrate di ordine n richiede l ispezione di 2n 2 = Ω(n 2 ) entrate. Eventi contabili: quando c è un evento la cui ripetizione un numero contabile di volte sia necessaria alla soluzione del problema. Es. La determinazione del massimo tra n elementi richiede n 1 = Ω(n) conronti, in cui altrettanti elementi non massimi risultino minori. Alberi di decisione Un albero rappresenta un algoritmo: i nodi interni rappresentano decisioni, le oglie rappresentano possibili uscite, i rami rappresentano particolari esecuzioni. L albero di decisione che minimizza l altezza ornisce un conine ineriore al numero di decisioni necessarie nel caso peggiore. Alberi quasi perettamente bilanciati De. Un albero binario è completo se ha 2 vertici per ogni livello non vuoto. Un albero binario è quasi perettamente bilanciato (qpb) se, avendo altezza h, è completo sino al livello h 1. Le oglie di un albero quasi perettamente bilanciato di altezza h sono: 2 h 1 s 2 h, ovvero h log 2 s Quindi un problema la cui soluzione può rappresentarsi con un albero qpb con s(n) possibili soluzioni è Ω(log 2 s(n)).

11 Il problema dell ordinamento Nel caso dell ordinamento: s(n) = n! (un ordinamento è una permutazione) i nodi interni rappresentano conronti Nel caso dell ordinamento (sorting) il numero dei conronti deve essere dunque maggiore di (usando la ormula di Stirling): n ( 2πn ( n / e) ) = log 2πn + nlog ( n / ) log n! log e Ossia il problema è Ω(n log n). Algoritmi O(n log n), come il Merge-Sort e lo Heap-Sort, sono allora ottimi. L albero per l ordinamento di 3 el. a < b a:b b < a b < c b:c c < b b < c b:c c < b a, b, c a < c a:c c < a a < c a:c c < a b, c, a a, c, b c, a, b b, a, c b, c, a h = log 2 3! = 3 Quando serve l albero delle decisioni? Se s(n) = Ω((n) g(n) ) allora l albero delle decisioni ornisce il conine ineriore Ω(g(n) log 2 (n)) utile se (n) è O(1). Non è interessante nel caso del problema Min-Max, per cui s(n) = n(n 1), ma log 2 s(n) = log 2 n + log 2 (n 1) peggiore del conine banale Ω(n).

12 L oracolo Oracolo: avversario immaginario che divina la situazione più savorevole in cui possa operare un algoritmo che risolva il problema per cui si cerca un conine ineriore. Il torneo Per stabilire il massimo tra n elementi si organizza un torneo: un albero qb di altezza = log 2 n. o o a m o a d h j m o r a b c d e g h i l m n o p q r Il torneo di consolazione Per stabilire il secondo tra n elementi si organizza un torneo di consolazione tra tutti gli el. risultati perdenti in scontri diretti col vincitore: m =. r r p r m Numero degli incontri (conronti) = numero dei nodi interni dei due alberi: C(n) = n + log 2 n 2.

13 Il doppio torneo è ottimo (1) A = insieme degli incontri per stabilire il massimo tra n el. B = insieme degli incontri in cui ciascun el., salvo il campione, è sconitto: B = n 1. Se a:b A, con a, b diversi dal campione, allora a:b B. Se y = numero el. perdenti col campione in B, allora sono necessari y 1 incontri per stabilire il secondo: A n + y 2. Oracolo: nell incontro a:b risulta a < b sse il numero degli el. trovati peggiori di b di quelli peggiori di a: si minimizzano le inormazioni ricavabili per transitività. M(j) = numero max el. Peggiori del campione dopo j incontri: Il doppio torneo è ottimo (2) M(j) = numero max el. peggiori del campione dopo j incontri: M(0) = 0 M(j) = 2 M(j 1) + 1 se j > 0 Quindi M(j) = 2 j 1: perché risulti M(y) = 2 y 1 n 1 occorre che y log 2 n: sostituendo in A n + y 2 si trova n + log 2 n 2.