ESERCITAZIONI DI INTRODUZIONE AGLI ALGORITMI (A.A. 08/09, CANALE E-O)

Transcript

1 ESERCITAZIONI DI INTRODUZIONE AGLI ALGORITMI (A.A. 08/09, CANALE E-O) DISPENSA N Limiti superiori, iferiori ed esatti, O, Ω, Θ Defiizioe 1.1 (Limitazioe Superiore). Diciamo che g() è ua itazioe superiore (upper boud) per f(), e scriviamo f() = O(g()), se e solo se ( c > 0)( N > 0)( N)[0 f() c g()]. Diciamo i questo caso che f() cresce al massimo come g(). Ituitivamete, f() = O(g()) vale quado il grafico di f() si trova, da u certo puto i poi, sotto a ua variate moltiplicativa (positiva) del grafico di g() (o coicide co ua tale variate). Osservazioe 1.2. Le fuzioi che usiamo per l aalisi degli algoritmi (poliomi, logaritmi, espoeziali, fattoriali) soo tutte asitoticamete o egative, ossia hao sempre valori 0 da u certo puto i poi (come è aturale, dato che soo le fuzioi che usiamo per stimare il costo computazioale degli algoritmi!). La codizioe 0 f() ella defiizioe qui sopra equivale a chiedere che N sia scelto oltre questo puto ed è richiesto per coveieza tecica. Osservazioe 1.3. Se f() = O(g()), iete ella defiizioe di questa relazioe ci garatisce che la stima sia stretta (ossia che f sia strettamete più leta di g) é che questa itazioe sia ottima (ossia che o possa esistere u altra fuzioe h(), strettamete più leta di g, per cui ache valga f() = O(h()). I molti casi ci iteressa dare ua itazioe iferiore alla complessità di u algoritmo, ossia idicare ua fuzioe g() tale che il ostro algoritmo cresce almeo quato g(). L idea è formalizzata ella seguete defiizioe. Defiizioe 1.4 (Limitazioe Iferiore). Diciamo che f() g() è ua itazioe iferiore (lower boud) per f() e scriviamo f() = Ω(g()) se e solo se vale ( c > 0)( N > 0)( N)[0 c g() f()]. Diciamo i questo caso che f() cresce almeo come g(). Ituitivamete, f() = Ω(g()) vale quado il grafico di f() si trova, da u certo puto i poi, sopra a ua variate moltiplicativa (positiva) del grafico di g() (o coicide co ua tale variate). Aalogamete a quato osservato per O( ), la relazioe f() = Ω(g()) o garatisce é che g() sia u ite iferiore stretto é che sia u ite iferiore ottimo per f(). Note preparate da Lorezo Carlucci, carlucci@di.uiroma1.it. 1

2 2 DISPENSA N. 1 Se per ua data fuzioe di costo f() riusciamo a stabilire sia ua itazioe superiore f() = O(g()) che ua itazioe iferiore f() = Ω(h()) per due fuzioi g(), h(), sigifica che abbiamo stretto il grafico di f() - da u certo puto i poi - tra i grafici di c g() e di d h(), per oppurte costati c, d > 0. Quato più simili soo gli adameti asitotici di g() e di h(), tato più questo ci dà u idea precisa dell adameto asitotico di f(). Se g() e h() soo la stessa fuzioe, possiamo dire di avere u idea esatta dell adameto asitotico di f(), il cui grafico si trova compreso tra due variati moltiplicative della stessa fuzioe g(). Si verifica facilmete (Esercizio!) che la codizioe f() = O(g())&f() = Ω(g()) equivale alla codizioe espressa ella seguete defiizioe. Defiizioe 1.5 (Limitazioe Esatta). Diciamo che f() è ua itazioe esatta per f() e scriviamo f() = Θ(g()) se e solo se vale ( c > 0)( c > 0)( N > 0)( N)[0 c g() f() c g()]. Diciamo i questo caso che f() cresce esattamete come g(). 2. Metodo Algebrico, Poliomi I alcui casi si possoo dimostrare itazioi superiori, iferiori e ottime co semplici maipolazioi algebriche, i sostaza risolvedo disequazioi elemetari. Abbiamo visto alcui esempi. Esempio 2.1. Limitare superiormete il poliomio quadratico f() = Impoiamo la codizioe desiderata, ossia la disequazioe (*) c 2 e troviamo c > 0 e N tali che (*) vale per ogi N. Possiamo osservare che = 2 (4 + 5/ + 6/ 2 ), e che per abbastaza grade, 5/ + 6/ 2 è strettamete miore di 2. Duque per abbastaza grade, = 2 (4 + 5/ + 6/ 2 ) 2 (4 + 2) e possiamo predere 6 come valore della costate moltiplicativa c cercata. Quato grade deve essere N? Basta che soddisfi 5/ + 6/ 2 2. Per esempio, 5 va bee! N.B. o abbiamo cercato di ottimizzare é c é N, ma solo di verificare la defiizioe di ite superiore! Esempio 2.2. Limitare superiormete e iferiormete il poliomio quadratico Dimostriamo che = O( 2 ). Facile: per ogi vale Dimostriamo che = Ω( 2 ). Dobbiamo trovare c > 0 e N > 0 tali per ogi N valga c Possiamo risolvere direttamete 0 < 3 20/, che vale sse 20/3 <. Abbiamo allora verificato la defiizioe co c = 1 e N > 20/3, e.g. N = 7. Esempio 2.3. Dimostriamo che O(). Usado la defiizioe, questo sigifica dimostrare che per essua scelta di c > 0, N > 0, vale la relazioe c per ogi N. Suppoiamo per assurdo che esistao c > 0, N > 0 tali che, per ogi N, c. Allora per tali vale c 5 c. Ma questo è impossibile, dato che per ogi > 4 vale 4+5 > c. Osservazioe 2.4. Negli esempi visti il grado del poliomio dà u ite esatto. Vale i geerale? Sì, e possiamo dimostrarlo per iduzioe co metodo algebrico. Teorema 2.5. Ogi poliomio di grado d 0 cresce come d.

3 ESERCITAZIONI DI INTRODUZIONE AGLI ALGORITMI (A.A. 08/09, CANALE E-O) 3 Dimostrazioe. U poliomio di grado d ha la forma d p() = a i i, i=0 dove gli a i soo iteri e assumiamo che a d > 0. Dimostriamo per iduzioe su d che per ogi poliomio f() di grado d vale f() = Θ( d ). Caso d = 0: Esercizio! Caso d = 1: Sia p() = a 1 + a 0, co a 1 > 0. Dimostriamo che p() = O(). Cerchiamo c > 0 e N > 0 tali che per ogi N vale a 1 + a 0 c, ossia a 1 + a 0 / c. Dato che a 0 / tede a 0 co che va a ifiito, possiamo scegliere c = a e N = a 0. Dimostriamo che p() = Ω(). Cerchiamo c > 0 e N > 0 tali che per ogi N vale c a 1 + a 0. Se a 0 0, è ovvio. Se a 0 < 0, cerchiamo c > 0 e N > 0 tali che per ogi N vale c a 1 a 0, ossia c a 1 a 0 /. Dato che a 0 / tede a 0 per che tede a +, per ogi ɛ > 0 esiste N ɛ tale che, per ogi N, a 1 ɛ a 1 a 0 /. Per qualuque scelta di ɛ > 0 tale che a 1 ɛ > 0, la scelta di c = a 1 ɛ e di N = N ɛ verifica la relazioe desiderata. Dato che a 1 > 0, esiste ua tale scelta di ɛ. Caso d > 1: Esercizio! 3. Metodo Aalitico e Limiti Notevoli I alterativa al metodo algebrico è spesso utile - e a volte ecessario - usare metodi aalitici (i particolare di aalisi delle successioi, e alcui iti otevoli). Esempio 3.1. Cosideriamo le fuzioi f() = e g() = 2. Proviamo a dimostrare che f() = O(g()). Possiamo porre e ridurci a chiedere se esiste N tale che per ogi N valga Prededo i logaritmi otteiamo log(14) + 5 log() = 1 2. Per ogi 14 vale log(14) + 5 log() 6 log() e possiamo chiederci se esiste u N tale che per ogi N vale 6 log(), i.e. log() 1 6 = I altre parole stiamo cercado di verificare se log() = O( 1 2 ), e ricadiamo così i u ite otevole, ossia il cofroto tra logaritmi e poliomi. Osservazioe 3.2. Nelle cosiderazioi sui iti che seguoo, possiamo seza pregiudizio di geeralità presupporre di avere a che fare co fuzioi sempre positive. Dato che ci iteressao solo le proprietà asitotiche delle fuzioi, e che ci occupiamo soltato di fuzioi asitoticamete o egative, ciò equivale a cosiderare l adameto delle fuzioi asitoticamete positive dopo il puto di positività. Defiizioe 3.3 (Limiti di Successioi). Ricordiamo le defiizioi di iti ulli, ifiiti, e fiiti positivi per successioi umeriche. f() = 0 se e solo se ( ɛ > 0)( N)( N)[f() < ɛ]. f() = se e solo se ( E > 0)( N)( N)[f() > E]. f() = l > 0 se e solo se ( ɛ > 0)( N)( N)[l ɛ < f() < l + ɛ]. Le classi di fuzioe che ci iteresserà cofrotare per il ostro studio degli algoritmi soo: poliomi, logaritmi, espoeziali, fattoriali. I iti otevoli che ci iteressao possoo riassumersi così: per b > 0, a > 1, log() b b = a = a! =! = 0.

4 4 DISPENSA N. 1 Questo forisce u quadro esauriete degli ordii di gradezza più importati. Perché? Perché dire che f() g() tede a 0 sigifica dire che g() cresce i modo strettamete più veloce di f(), e dire che f() g() tede a + sigifica dire che g() cresce i modo strettamete più leto di f(). Più precisamete, dimostriamo che valgoo le segueti relazioi tra i iti di successioi e le otazioi asitotiche O, Ω, Θ. f() (1) Se g() = 0 allora f() = O(g()) e g() O(f()). f() (2) Se g() = + allora f() = Ω(g()) e g() Ω(f()). (3) Se f() = l > 0 allora f() = Θ(g()). Osservazioe 3.4. Laddove f() = O(g()) o implica ecessariamete che g() è ua itazioe superiore stretta per f(), dimostrare che il rapporto f()/g() tede a 0 implica che g() è strettamete più veloce di f(). Dualmete, f() = Ω(g()) o implica ecessariamete che g() è ua itazioe iferiore stretta per f(), dimostrare che il rapporto f()/g() tede a + implica che g() è strettamete più leta di f(). Diamo la dimostrazioe del puto (2) qui sopra. f() Proposizioe 3.5 (Limite Superiore Stretto). Se g() g() = O(f()) e f() O(g()). = +, allora f() Dimostrazioe. Se + g() = +, allora + g() f() = 0. Duque esiste N tale che per ogi N vale g() f() 1. Duque g() f(), il che dimostra g() = O(f()). Se fosse f() = O(g()), esisterebbero c > 0, N, tali che per ogi N, f() f() c g(), i.e. g() c. Ma f() g() = + implica che, dato c, esiste N tale che per ogi N, f() g() > c. Cotraddizioe. f() Proposizioe 3.6 (Limite Esatto). Se g() = l, co l reale positivo, allora f() = O(g()) e g() = O(f()), i.e. f() = Θ(g()). f() Dimostrazioe. Esercizio. Per il secodo puto usare il fatto che, se g() = g() l, allora f() = 1 l. Co il metodo aalitico molte dimostrazioi di itazioi asitotiche si semplificao otevolmete. Esempio = 1 4+5/+6/ 2 che tede a 1/4 per. Duque = Θ( 2 ). Esempio 3.8. Ache la dimostrazioe che ogi poliomio di grado d è i Θ( d ) si semplifica otevolmete. i=d i=0 a i i a d d + + a a 1 + a 0 d = d = a d + + a 2 d 2 + a 1 d 1 + a 0 d = a d

5 ESERCITAZIONI DI INTRODUZIONE AGLI ALGORITMI (A.A. 08/09, CANALE E-O) 5 Dato che a d > 0, deduciamo che p() = Θ( d ), per la Proposizioe 3.6. Ioltre, si può dimostrare velocemete la seguete estesioe del risultato. Proposizioe 3.9. Se p() è u poliomio di grado d allora (1) Se d < c allora p() è strettamete più leto di c, (2) Se d > c allora p() è strettamete più veloce di c. p() Dimostrazioe. = p() c = p() d+d c = p() d c. Duque c d p() p() = c d c = a d d c d. Se c > d allora c d = +. Se c < d allora c d 1 = = 0 (d c > 0). d c 4. Logaritmi cotro Poliomi I logaritmi crescoo più letamete di qualsiasi poliomio. Questo cofroto è lasciato per esercizio. Si dimostri che, per ogi a > 0, log() a = 0. U approccio passo per passo al problema è il seguete. Esercizio 4.1. Assumedo che log(). (1) Si dimostri che log() t t per ogi 1 per ogi t 1. (2) Si dimostri che log() 2 a a 1, per ogi 1. a/2 (3) Si dimostri che per ogi a > 0, per ogi ɛ > 0, esiste N > 0 tale che per ogi N log() ɛ. a Osservazioe 4.2. Si può aalogamete dimostrare che ogi poteza di logaritmo cresce più letamete di ogi fuzioe espoeziale co base positiva. I.e., che, per a, b > 0, vale log() b a = Poliomi cotro Espoeziali Dimostriamo che ogi poliomio cresce più letamete di ogi fuzioe espoeziale a i base a > 1. Basta dimostrare che, per ogi a > 1, b > 0, vale a + b = +. Usiamo il cosidetto Criterio del Rapporto, ossia ricaviamo il ite per la successioe g() = a dal ite dei rapporti tra i suoi termii cosecutivi, ossia da b + g( + 1). g()

6 6 DISPENSA N. 1 g( + 1) + g() = + = + = + a a +1 (+1) b a b a +1 b ( + 1) b a ( + 1 = a 1 ( + +1 ) b = a 1 ( = a Dal fatto che il ite dei rapporti è a > 1, possiamo dedurre che il ite della successioe è +, per il seguete Criterio del Rapporto. Lemma 5.1 (Criterio del Rapporto, versioe 1). Sia g() ua successioe a termii g(+1) positivi. Se + g() = l > 1, allora + g() = +. g(+1) Dimostrazioe. Scegliamo a strettamete tra 1 e l. Dato che + g() = l, esiste N tale che per ogi N vale g(+1) g() > a. Duque Duque, per ogi m > 0, ( N)[g( + 1) > a g()]. g(n + m) > a g(n + m 1) > a a g(n + m 2) > > (a) m g(n). Ma + (a) m = +, perché a > 1. Perciò ache m + g(n + m) = +. ) b 6. Espoeziali cotro Fattoriali La fuzioe fattoriale cresce più velocemete di ogi fuzioe espoeziale. Possiamo dimostrare a +! = 0, usado la seguete versioe duale del Criterio del Rapporto: Lemma 6.1 (Criterio del Rapporto, versioe 2). Sia g() ua successioe a termii positivi. Se + g(+1) g() = 0, allora + g() = 0. g(+1) Dimostrazioe. Scegliamo a strettamete tra 0 e 1. Dato che + g() = 0, esiste N tale che per ogi N vale g(+1) g() < a. Duque Duque, per ogi m > 0, ( N)[g( + 1) < a g()]. g(n + m) < a g(n + m 1) < a a g(n + m 2) < < a m g(n). Ma + a m = 0, perché 0 < a < 1, e perciò ache m + g(n +m) = 0. ) b

7 ESERCITAZIONI DI INTRODUZIONE AGLI ALGORITMI (A.A. 08/09, CANALE E-O) 7 Cosideriamo ora la successioe dei rapporti. g( + 1) = + g() + a +1 (+1)! a! = + a +1! ( + 1)!a = + a + 1 = 0 Esempio 6.2. Dimostriamo che 64 log 4 = Ω( ), e che la itazioe è stretta (i.e., che o vale = Ω( 64 log 4 )). Per quato visto, basta dimostrare il seguete ite. 64 log 4 (4 3 ) log 4 3 = = 3/2 = 4 = +. 3/2 3/2 Esempio 6.3. Dimostriamo che log log = Ω( 1 ɛ ), per ogi 0 < ɛ < 1, e che la itazioe è stretta. Basta dimostrare quato segue. log log 1 ɛ 1 ɛ = ɛ = +. Esercizio 6.4. Usado ua versioe opportua del Criterio del Rapporto, dimostrare che N.B. = 2 log().! + = 0. Esercizio 6.5. Esercizi da risolvere co metodo aalitico e uso dei iti otevoli. Idicare i ciascu caso se la itazioe (superiore o iferiore è stretta) = O(2 ), ( 4) log 4 = O( 7/3 ), log log = O( 1+ɛ ) per ogi ɛ > 0, = O( log ) 2, log log = O(2 /2 ). Esercizio 6.6. Cofrotare l adameto asitotico di fuzioi espoeziali co basi diverse, i.e. a e b co a, b > 0, a b, per le diverse possibili scelte di a, b: a > b > 1, a < b < 1, a < 1 < b. Osservazioe 6.7. Per l aalisi asitotica o importa quale base si sceglie per i logaritmi! Perché? Perché i logaritmi elle diverse basi soo tutte variati moltiplicative della stessa fuzioe! Come ricordarsi la formula per il cambio di base? Ricavadola! Vogliamo esprimere il logaritmo i base a come fuzioe del logaritmo i base b. Basta ricordarsi che si ha sempre = t log t, qualuque sia la base t. Quidi i particolare abbiamo = a log a, = b log b, e a = b log b a. Duque: a log a = = b log b = (a log a b ) log b = a log a b log b. Duque log a = log a b log b, da cui la formula ota. E implica che log a () = Θ(log b ).