Es. di Ordine di crescita. Di quanto aumenta il running time se la taglia ~nlog(n) operazioni. dell input)

Transcript

1 Ricomiciamo da quato fatto Riflettiamo su quato fatto Problemi icotrati Algoritmi Problemi icotrati Algoritmi Max Subarray Stable Matchig Max Subarray Stable Matchig 2 possibilità! possibilità Algoritmo Brute Force 2 possibilità! possibilità Algoritmo Brute Force ~ operazioi ~ 2 operazioi Migliore Algoritmo visto ~ operazioi ~ 2 operazioi Migliore Algoritmo visto Es. di Ordie di crescita. Di quato aumeta il ruig time se la taglia ~log() operazioi dell iput raddoppia? Stime ragioevoli del comportameto ~ 2 operazioi Q. I che seso queste fuzioi stimao abbastaza bee il comportameto reale? ~ 2 dice che il ruig time aumeta di u fattore 4 1 = 10 --> 2 = 20 (1) 2 = 100, (2) 2 = 400 = 4x(1) 2 dei programmi. Dal cofroto dei ruig time dei programmi corrispodeti Q. Perché ci accotetiamo di tali stime? ~ dice che il ruig time aumeta di u fattore 2 1 = 10 --> 2 = 20 (2) = 2x(1) Foriscoo l ordie di crescita asitotica del ruig time 2 ~! dice che il ruig time aumeta di u fattore > 1 = 10 --> 2 = 20 1! = 10x9x...x2x1 2! = 20x19x...x11x10! 3 U criterio di efficieza U criterio di efficieza Dicotomia tipica tra espoeziale e poliomiale. Proprietà di crescita desiderabile. Se la taglia dell iput raddoppia, il ruig Esiste u algoritmo aturale che prova tutte le possibili soluzioi (brute force) time dovrebbe peggiorare di u fattore costate C (idipedete dalla taglia dell iput) i molti casi esistoo 2 possibilità (o di più) per u iput di taglia. u tale algoritmo è, i pratica, iaccettabile Def. U algoritmo è poliomiale (tempo poliomiale) se vale la proprietà di crescita di cui sopra. l ordie di crescita del ruig time è 2 se l iput raddoppia il ruig time cresce del quadrato Esistoo costati c > 0 e d > 0 tali che su ogi iput di taglia, il ruig time è quello di scegliamo c = 2 d al più c d passi computazioali elemetari Proprietà di crescita desiderabile. Se la taglia dell iput raddoppia, il ruig time dovrebbe peggiorare di u fattore costate C (idipedete dalla taglia dell iput) 4 5

2 Ruig time poliomiale Notazioi Asitotiche: O (o-grade), Ω (omega), e Θ (teta) Diremo che u algoritmo è efficiete se il ruig time è poliomiale. Prossimo passo. valutare e cofrotare l ordie di crescita asitotico di fuzioi elemetari. Esistoo costati c > 0 e d > 0 tali che su ogi iput di taglia, il ruig time è quello di al più c d passi computazioali elemetari Uso fiale. stima della velocità di crescita di fuzioi che esprimoo le risorse cosumate da u algoritmo rispetto alla taglia dell iput Perché proprio questa defiizioe?. Tale scelta fuzioa i pratica! I pratica, gli algoritmi poliomiali sviluppati fio ad ora hao costati ed espoeti piccoli. Superare la barriera espoeziale dell algoritmo esaustivo (brute force) rivela elemeti strutturali del problema (fa capire di più). Q. Quale ruig time cosiderereste più efficiete oppure l? 6 Perché aalisi asitotica. Perché di solito usiamo gli algoritmi per risolvere istaze di taglia grade Perché le istaze piccole potrebbero essere ua sorta di eccezioe rispetto al comportameto tipico di u algoritmo Vogliamo poter ragioare come segue: Algo A cresce come f() Algo B cresce come g() f() cresce meo velocemete di g() quidi A è più efficiete di B 7 Perché u tale approccio dovrebbe fuzioare? Notazioe O-grade (Big-Oh otatio) Usata per limitare superiormete il tasso di crescita Def. Date due fuzioi (asitoticamete o egative) f() e g() f() è O( g ()) [scritto ache f() = O( g ()) ] se esistoo costati c > 0 e 0 0 tali che f() c g() per ogi 0. c g () f() Ex. f() = f() è O( 2 ). scegliedo c = 50, 0 = 1 f() è ache O( 3 ). f() o è O() é O( log ). 0 log è O() (log k ) m è O( a ) per ogi k, m e a > 0 [es. (log 10 ) 7 è O( ) ] k è O(a ) per ogi k e a [es è O( ) ] a è O(!) per ogi a 8 9

3 Limiti asitotici di alcue fuzioi elemetari Limiti asitotici di alcue fuzioi elemetari Poliomi. Sia f() = a 0 + a a d d co a d > 0. Allora, f() è O( d ). Dim. a d d + a d 1 d a 1 + a 0 apple a d d + a d 1 d a 1 + a 0 apple ( a d + a d a 1 + a 0 ) d = c d Logaritmi e poliomi. Abbiamo log = O()--- assumiamo che il logaritmo sia i base 2 Dim. Possiamo dimostrare per iduzioe che per ogi > 0, vale log c Per =1 abbiamo log = 0 < 1 = Assumedo per ipotesi iduttiva che valga log (-1) c (-1), otteiamo log = log (-1+1) 1 + log (-1) 1 + c(-1) c quidi 0 = 1 e c = ad a0 soddisfao la defiizioe Logaritmi e poliomi. Per ogi k, m, α > 0, vale (log m ) k is O( α ). Dim log 2 m = m log 2 = mk k log 2 = mk log 2 k apple mk d k da cui otteiamo (poedo c = (mkd/α) k ) k mk log k 2 m apple d = c Limiti asitotici di alcue fuzioi elemetari Abusi di otazioe Logaritmi: la base o cota, cambia solo la costate. quidi, i termii di crescita asitotica, quato dimostriamo per logb() vale ache per loga() log a = log b log b a Uso del sego uguale. O( g ()) è u isieme di fuzioi, ma spesso si scrive f() = O( g ()) ivece di f() O( g ()). Errori da evitare. Sia f () = 5 3 e g () = 3 2. Se scriviamo f () = O( 3 ) = g(). Allora (!?!), f () = g(). Espoeziali e poliomi. Per ogi a > 1 e ogi k > 0, k è O(a ). Dim. Sia 0 il miimo tale che quidi per ogi > 0 a = log a otteiamo che a log a loga = a log a k log a = log a k. Domiio. Il domiio delle fuzioi è quello dei umeri aturali { 0, 1, 2,. a volte restrigeremo ad u sottisieme dei aturali altre volte estederemo ai reali Fuzioi o-egative. Quado si usa la otazioe O-grade, assumiamo che le fuzioi siao (asitoticamete) oegative. IMPORTANTE. OK ad abusi di otazioe; attezioe agli eccessi erroei! 12 13

4 Ieri abbiamo itrodotto la otazioe O-grade (Big-Oh otatio) Notazioe Ω (Big-Omega otatio) Usata per limitare superiormete il tasso di crescita Def. Date due fuzioi (asitoticamete o egative) f() e g() f() è O( g ()) [scritto ache f() = O( g ()) ] se esistoo costati c > 0 e 0 0 tali che f() c g() per ogi 0. c g () f() Per Limiti iferiori. f() è Ω( g ()) se esistoo costati c > 0 e 0 0 tali che f() c g () per ogi 0. Ea. f() = f() è sia Ω( 2 ) che Ω(). f() o è Ω( 3 ) é Ω( 3 log ). per c = 32, 0 = 1 f() c g () Ex. f() = f() è O( 2 ). scegliedo c = 50, 0 = 1 f() è ache O( 3 ). f() o è O() é O( log ). c è O(1) (ogi costate è equivalete ad 1) log è O() (log k ) m è O( a ) per ogi k, m e a > 0 [es. (log 10 ) 7 è O( ) ] k è O(a ) per ogi k e a [es è O( ) ] a è O(!) per ogi a 0 0 Uso. La otazioe O servirà per esprimere limiti superiori alle risorse usate da u algoritmo. La otazioe Ω servirà per esprimere limiti iferiori alle risorse usate da u algoritmo. Affermazioi da evitare. Ogi algoritmo di ordiameto basato su cofroti richiede almeo O( log ) cofroti el caso peggiore Ω() e O() soo duali Notazioe Θ (Theta-otatio) Dualità. f() è Ω( g ()) se e solo se g() è O(f()) Limiti iferiori e superiori. f() è Θ( g ()) se esistoo costati c1 > 0, c2 > 0, 0 0 tali che c1 g () f() c2 g () for all 0. c2 g () basta otare che f() = Ω( g ()) se e solo se esistoo costati c, 0 > 0 tali che f() c g() quidi se e solo se, per c = 1/ c, vale g() c f() cioè g() = O( f ()) Es. f() = f() is Θ( 2 ). f() o è Θ() é Θ( 3 ). co c1 = 32, c2 = 50, 0 = 1 0 f() c1 g() c = O(1) loglog = O(log ) log = O() (log k ) m = O( a ) per ogi k, m e a > 0 k = O(a ) per ogi k e a a = O(!) per ogi a c = Ω(1) log = Ω(log ) = Ω(log ) a = Ω(log k ) m per ogi k, m e a > 0 a = Ω( k ) per ogi k e a! = Ω(a ) per ogi a Uso. L algoritmo maxsubarray3 esegue Θ( log ) operazioi su u array di elemeti. Nota. f() è Θ( g ()) se e solo se valgoo etrambe f() è O( g ()) f() è Ω( g ()) 16 17

5 Regole Utili (le mostriamo per O, ma valgoo ache per Ω e Θ) Le costati o cotao. Se f () = O(g()) allora a f() = O(g()), per ogi costate a > 0 Es. log = O() allora ache 10 log = O() Somme. Se e() = O(g()), f () = O(h()), allora e() + f() = O(g() + h()) Es. log = O( ), 3 2 = O( 2 ) allora ache log = O( + 2 ) Prodotti. Se e() = O(g()), f () = O(h()), allora e() f() = O(g() h()) Es. log = O( ), 3 2 = O( 2 ) allora ache Trasitività. Se f() = O(g()), g() = O(h()), allora f() = O(h()) 3 2 log = O( 2 ) Es. log = O( ), = O(/log ) allora ache log = O(/log ) Regole Utili (le mostriamo per O, ma valgoo ache per Ω e Θ) Somma e trasitività per O Se f() = O(g()), d() = O(e()), e g() = O(e()) allora f() + d() = O(e()) Es. log = O( ), 3 2 = O( 2 ) allora ache log = O( 2 ) Somma e trasitività per Ω Se f() = Ω(g()), d() = Ω(e()), e g() = O(e()) allora f()+d() = Ω(g()) e ache f()+d() = Ω(e()) Es. = Ω(log ), log = Ω() allora + log = Ω() + log = Ω(log ) Altri metodi utili per verificare ordii crescita Notazioe O-grade per fuzioi a più variabili Proposizioe. Se lim f() g() = c > 0, allora f () è Θ(g()). Limiti superiori. T(m, ) è O( f (m, )) se esistoo costati c > 0, m 0 0, e 0 0 tali che T(m, ) c f (m, ) per ogi 0 e m m 0. DIM. Per defiizioe di limite, esiste 0 tale che per ogi c < f() g() < 2 c Quidi, f () 2 c g() per ogi 0, il ché implica f () è O(g()). Aalogamete, f () ½ c g() per ogi 0, quidi f () is Ω(g()). Es. T(m, ) = 32m m T(m, ) è sia O(m ) che O(m 3 ). T(m, ) o è O( 3 ) é O(m 2 ). Esempi di uso. Visita per ampiezza di u grafo (breadth-first search) cammio miimo tra due vertici i u grafo diretto. Proposizioe. Se lim f(), allora f () è O(g()). g() =

6 Aalisi di complessità di u algoritmo Tempo di esecuzioe: operazioi elemetari Ci cocetriamo sulla risorsa TEMPO tempo di esecuzioe i fuzioe della taglia dell iput Tempo di esecuzioe umero di operazioe elemetari eseguite sull istaza quale istaza? Taglia dell iput come la misuriamo? Fuzioe della taglia dell iput useremo le otazioi asitotiche Numero di operazioi elemetari eseguite operazioi aritmetiche, cofroto tra elemeti, seguire u putatore, etc. assumiamo che ogi operazioe elemetare richieda tempo Θ(1) Calcolo della complessità (di tempo) operazioi di assegameto di variabili: costo Θ(1) istruzioi codizioali (if... the... else): costo pari al tempo del test (i geere Θ(1)) più il costo dell alterativa più costosa istruzioi di iterazioe (loop while, repeat, for) : costo pari alla somma su tutte le iterazioi del costo delle istruzioi eseguite ell iterazioe Fuzioi ricorsive aalisi delle ricorreze (lo vedremo quado servirà) esempio: maxsubarray2 (albero di ricorsioe) Tempo di esecuzioe: Quale istaza usiamo Tempo di esecuzioe: aalisi alterativa - caso medio Il ruig time di u algoritmo può dipedere dalla forma dell iput es. ordiare ua lista già ordiata cercare u elemeto scorredo ua lista l elemeto è il primo l elemeto o è presete Worst case. Limiti al ruig time per ogi iput di taglia. Es. Trovare il massimo di elemeti richiede al massimo cofroti. Caso Medio. Expected ruig time per u iput radom di taglia. Problemi. quale distribuzioe di probabilità va cosiderata? Worst case. Limiti sul ruig time che valgoo per ogi iput di taglia. I geere coicide co l efficieza verificata i pratica. Puto di vista pessimistico! perchè dovremmo igorare il caso pessimo? Eccezioi. Esistoo alcui algoritmi espoeziali usati i pratica perché le istaze che determiao il caso pessimo (espoezialità) sembrao essere rare. simplex algorithm 24 25

7 Taglia dell iput Riassumedo Numero di elemeti che lo costituiscoo l iput è u array o ua lista: il umero di elemeti l iput è u grafo: il umero di vertici e il umero di archi moltiplicazioe di matrici: le dimesioi delle matrici L algoritmo A ha complessità (di tempo) T() = O( 2 ) sigifica: A o richiede al più tempo c 2 per dare l output, per u opportua costate c per ogi iput di taglia sufficietemete grade Il umero di bit che servoo per rappresetare l iput moltiplicazioe tra due umeri Relazioe tra le due misure Assumedo che ogi elemeto dell iput etri i ua parola di memoria ogi istruzioe macchia richieda tempo costate i geerale esiste ua relazioe tra le due misure che è data dalla taglia della parola di memoria che si utilizza L algoritmo A ha complessità (di tempo) T() = Ω( 2 ) sigifica: A richiede tempo almeo c 2 prima di forire l output per u opportua costate c e per almeo u iput di taglia sufficietemete grade Sottitediamo il caso peggiore i etrambe le affermazioi Il limite superiore si estede a tutti i casi il limite iferiore garatisce tutti i casi o sigifica che ogi caso ecessita almeo del tempo dato come limite iferiore Esempi ed esercizi Esempi ed esercizi Utilizzado la otazioe Θ si stimi la complessità dei segueti stralci di codice: Utilizzado la otazioe Θ si stimi la complessità dei segueti stralci di codice: 1. for i = 1 to 2 if x è pari the 4. i = x = x-1 while i 1 do else x = x+1, i = i/2 x = x j = while j 1 do for i = 1 to 3 for j = 9 to x = x + 1 for i = 1 to j x = x + i - 1 j = j/2 3. for i = 1 to for j = 1 to i for k = j to i x = x

8 Esempi ed esercizi Utilizzado la otazioe Θ si stimi la complessità dei segueti stralci di codice: 6. i = while i 1 do for j = 1 to x = x + 1 i = i/2 Alcue utili relazioi matematiche Sommatorie poteze successive (progressioi) X per ( 1) 6= 1Xvogliamo calcolare j = j+1 j = j = = +1 0 = i = 2 while i < do i = i * i x = x + 1 quidi j = +1 X1 1 Per α < 1, otteiamo quidi il umeratore è < 1 X j = = (1) 30 il deomiatore è ua costate 31 Esempi ed esercizi Esempi ed esercizi Valutare la complessità del seguete algoritmo Valutare la complessità del seguete algoritmo Algoritmo (A[1,...] for i = 1 to B[i] = A[i] for i = 1 to j = while j > i do B[i] = B[i] + A{i] j = j - 1 for i = 1 to t = t + B[i] Moltiplica (y, z) x = 0 while z > 0 do if z è dispari the x = x+y y = 2*y z = z/2 // trocato all itero retur x 32 33

9 Altri esempi - O( 3 ) Altri esempi Isiemi disgiuti. Dati isiemi S 1,, S oguo u sottisieme di 1, 2,,, esiste ua coppia di isiemi disgiuti? Soluzioe. Per ogi coppia di isiemi, verifica se soo disgiuti. Isieme Idepedete di taglia k. Dato u grafo, esistoo k odi tali che essua coppia tra essi è uita da u arco? Soluzioe. Eumera tutti i sottisiemi di k odi. k is a costat foreach set S i { foreach other set S j { foreach elemet p of S i { determie whether p also belogs to S j if (o elemet of S i belogs to S j ) report that S i ad S j are disjoit foreach subset S of k odes { check whether S i a idepedet set if (S is a idepedet set) report S is a idepedet set Verificare se S, ( S = k) è idipedete richiede tempo O(k 2 ). (perché?) umero sottisiemi di taglia k = ( 1)( 2) ( k + 1) = O(k 2 k / k!) = O( k k k(k 1)(k 2) 1 ). k k! poliomiale per k=17, ma sicuramete poco pratico Tempo Espoeziale Isieme Idepedete. Dato u grafo, qual è la massima cardialità di u isieme idipedete? Soluzioe. Eumera tutti i sottisiemi e verifica se soo idipedeti. S* φ foreach subset S of odes { check whether S i a idepedet set if (S is largest idepedet set see so far) update S* S Tempo O( 2 2 ) : Il umero di sottisiemi di u isieme di elemeti è 2 36