algoritmi e strutture di dati

Transcript

1 algoritmi e strutture di dati complessità degli algoritmi m.patrigai ota di copyright queste slides soo protette dalle leggi sul copyright il titolo ed il copyright relativi alle slides (iclusi, ma o limitatamete, immagii, foto, aimazioi, video, audio, musica e testo) soo di proprietà degli autori idicati sulla prima pagia le slides possoo essere riprodotte ed utilizzate liberamete, o a fii di lucro, da uiversità e scuole pubbliche e da istituti pubblici di ricerca ogi altro uso o riproduzioe è vietata, se o esplicitamete autorizzata per iscritto, a priori, da parte degli autori gli autori o si assumoo essua resposabilità per il coteuto delle slides, che soo comuque soggette a cambiameto questa ota di copyright o deve essere mai rimossa e deve essere riportata ache i casi di uso parziale 1

2 algoritmi e programmi u algoritmo coicide per oi co la sua descrizioe i pseudocodice sappiamo che ciò è equivalete a defiire ua Radom Access Machie lo pseudocodice può essere facilmete tradotto i u liguaggio di programmazioe arbitrario per otteere u programma l operazioe di traduzioe di u algoritmo i u programma viee detta implemetazioe esecuzioe dei programmi il programma può essere eseguito su ua piattaforma opportua co dati di iput opportui la sua esecuzioe ha u costo (ecoomico) che può essere espresso tramite le risorse di calcolo utilizzate tempo memoria traffico geerato su rete trasferimeto dati da/su disco... ella maggior parte dei casi la risorsa più critica è il tempo di calcolo 2

3 fattori che ifluezao il tempo di calcolo dimesioe dell iput maggiore è la quatità di dati i iput maggiore è il tempo ecessario per processarli algoritmo può essere più o meo efficiete hardware u supercalcolatore è più veloce di u persoal computer liguaggio u implemetazioe diretta i liguaggio macchia è più veloce di u implemetazioe i u liguaggio ad alto livello u programma compilato è più veloce di u programma iterpretato compilatore alcui compilatori soo progettati per geerare codice efficiete programmatore a parità di algoritmo e di liguaggio, programmatori esperti scelgoo costrutti più veloci tempo di calcolo e dimesioe dell iput si riscotra che il tempo di calcolo cresce al crescere della dimesioe dell iput è legittimo misurarlo come ua fuzioe di la ozioe di dimesioe dell iput dipede dal problema ordiameto: umero di elemeti da ordiare operazioi su liste: lughezza della lista operazioi su matrici: dimesioe massima delle matrici coivolte valutazioe di u poliomio i u puto: grado del poliomio 3

4 tempo di calcolo e algoritmi esperimeto: cofroto tra due algoritmi di ordiameto stesso iput: umeri iteri algoritmo hardware liguaggio compilatore programmatore tempo isertio sort supercalcolatore liguaggio macchia esperto 5,56 ore merge sort persoal computer liguaggio ad alto livello o efficiete medio 16,67 miuti coclusioe: a parità di iput, il tempo di calcolo di u programma è ifluezato dall algoritmo che implemeta più che dagli altri fattori progetto di algoritmi efficieti motivazioe ha u impatto ecoomico diretto per gli utilizzatori dei programmi il tempo di calcolo si traduce i u ivestimeto ecoomico è fodametale per otteere implemetazioi di uso pratico l usabilità di u programma può essere compromessa da u algoritmo iefficiete problema el mometo i cui progettiamo u algoritmo o possiamo misurare direttamete l efficieza delle sue future implemetazioi soluzioe previsioe del tempo di calcolo delle implemetazioi di u algoritmo (aalisi) 4

5 obiettivo aalisi degli algoritmi prevedere il tempo di calcolo richiesto dall esecuzioe di u programma che implemeta il ostro algoritmo i fuzioe della dimesioe dell iput per piccoli iput il tempo di calcolo sarà comuque basso qual è il tempo di calcolo per iput di gradi dimesioi? strumeti ipotesi sul tempo di esecuzioe di ogi istruzioe aalisi asitotica delle fuzioi quale fuzioe cosideriamo? il tempo di calcolo o è ua fuzioe I geerale il tempo di calcolo per u iput di dimesioe o è ua fuzioe T() el caso peggiore T() el caso medio T() el caso migliore =5 =10 =15 =20 =25 =30 5

6 tempo di calcolo e aalisi asitotica vogliamo studiare il tempo di calcolo co gli strumeti dell aalisi asitotica ma l aalisi asitotica si applica solo alle fuzioi dobbiamo trasformare il tempo di calcolo i ua fuzioe per questo cosideriamo il caso peggiore/medio/migliore fuzioi caso peggiore caso medio caso migliore O Ω Θ uso del caso peggiore per oi è di maggiore iteresse il caso peggiore rispetto al caso migliore o al caso medio preferiamo u errore per eccesso ad u errore per difetto il caso migliore o dà essua garazia sul tempo di calcolo co u iput geerico è di iteresse solamete teorico spesso il tempo di calcolo del caso medio è più vicio al caso peggiore che al caso migliore cooscere il costo del caso medio può essere utile solo qualora si debba ripetere u operazioe u umero elevato di volte 6

7 stima del tempo di calcolo deotiamo T() il tempo di calcolo di ua implemetazioe dell algoritmo el caso peggiore su u iput di dimesioe vogliamo stimare T() a partire dallo pseudocodice quato costa ogi operazioe elemetare? ipotesi semplificativa: per eseguire ua liea (o istruzioe) di pseudocodice è richiesto tempo costate deotiamo co c i il tempo ecessario per eseguire la riga i strategie per la stima del tempo di calcolo strategia più oerosa calcoliamo esplicitamete T() a partire dallo pseudocodice T() dipede, oltre dalla dimesioe dell iput, ache dal costo di esecuzioe associato alle sigole righe dello pseudocodice c 1, c 2, c 3, c 4, studiamo il comportameto asitotico di T() strategia più efficiete calcoliamo il costo asitotico di ogi porzioe dello pseudocodice otteiamo il costo asitotico dell itero algoritmo compoedo i costi calcolati otteiamo il comportamete asitotico di T() seza mai calcolare esplicitamete T() 7

8 esempio di algoritmo algoritmo per ivertire u array da a strategia memorizzo A[0] memo copio A[A.legth-1] i A[0] memo traslo tutte le caselle A[1..A.legth-2] i avati memo copio memo i A[1] memo ripeto per A[1] ripeto per A[2] INVERTI-ARRAY(A) esempio di calcolo di T() 1. for i = 0 to A.legth-2 2. memo = A[i] 3. A[i] = A[A.legth-1] 4. for j = A.legth-1 dow to i+2 5. traslo i avati A[i+1..] 6. A[j] = A[j-1] 7. A[i+1] = memo costo c 1 c 2 c 3 c 4 0 c 6 c 7 di volte il test viee eseguito volte -1 volte etro el ciclo for l ultimo test determia l uscita dal ciclo 2,3,7 liee eseguite per ogi iterazioe del ciclo for, cioè -1 volte 8

9 INVERTI-ARRAY(A) esempio di calcolo di T() 1. for i = 0 to A.legth-2 2. memo = A[i] 3. A[i] = A[A.legth-1] 4. for j = A.legth-1 dow to i+2 5. traslo i avati A[i+1..] 6. A[j] = A[j-1] 7. A[i+1] = memo costo c 1 c 2 c 3 c 4 0 c 6 c 7 di volte (-1)(+2)/2 (-1)(+2)/2-1 (-1)(+2)/2-1 4 il test viee eseguito, per ogi i = 0,..., -2 (cioè -1 volte) u umero di volte pari a -(i+2)+2=-i, quidi Σ i=0..-2 (-i) = Σ i=0..-2 () - Σ i=0..-2 (i) = (-1) -(-2)(-1)/2 = (-1)(+2)/2 si è utilizzata la formula di Gauss Σ i=1.. (i) = (+1)/2 5,6 come sopra INVERTI-ARRAY(A) esempio di calcolo di T() 1. for i = 0 to A.legth-2 2. memo = A[i] 3. A[i] = A[A.legth-1] 4. for j = A.legth-1 dow to i+2 5. traslo i avati A[i+1..] 6. A[j] = A[j-1] 7. A[i+1] = memo costo T() = c 1 +c 2 (-1)+c 3 (-1)+c 4 (-1)/2+c 6 ((-1)/2-1)+c 7 (-1) = 2 (c 4 /2+c 6 /2) + (c 1 +c 2 +c 3 -c 4 /2-c 6 /2+c 7 ) - (c 2 +c 3 +c 6 +c 7 ) Duque: T() O( 2 ), T() Ω( 2 ) T() Θ( 2 ) c 1 c 2 c 3 c 4 0 c 6 c 7 di volte -1-1 (-1)(+2)/2 (-1)(+2)/2-1 (-1)(+2)/

10 algoritmi e complessità O(f()) sia T() il tempo di esecuzioe di u algoritmo A su u istaza di dimesioe el caso peggiore l algoritmo A ha complessità temporale O(f()) se T() = O(f()) diciamo ache che il tempo di esecuzioe dell algoritmo A è al più f() f() è u limite superiore, o upper-boud, al tempo di esecuzioe dell algoritmo A f() è la quatità di tempo sufficiete (i ogi caso) all esecuzioe dell algoritmo A algoritmi e complessità O(f()) l algoritmo A ha complessità temporale O(f()) se T() = O(f()) f() T() (caso peggiore) 10

11 sigificatività della fuzioe f() se u algoritmo ha complessità f() allora ha ache complessità g() per ogi g() tale che f() O(g()) la complessità espressa tramite la otazioe O-grade diveta tato più sigificativa quato più f() è strigete (piccolo) g() f() T() (caso peggiore) algoritmi e complessità Ω(f()) sia T() il tempo di esecuzioe di u algoritmo A su u istaza di dimesioe el caso peggiore l algoritmo A ha complessità temporale Ω(f()) se T() = Ω(f()) diciamo ache che il tempo di esecuzioe dell algoritmo A è almeo f() f() è u limite iferiore, o lower-boud, al tempo di esecuzioe dell algoritmo A f() è la quatità di tempo ecessaria (i almeo u caso) all esecuzioe dell algoritmo A 11

12 algoritmi e complessità Ω(f()) l algoritmo A ha complessità temporale Ω(f()) se T() = Ω(f()) caso peggiore f() N algoritmi e complessità Θ(f()) sia T() il tempo di esecuzioe di u algoritmo A su u istaza di dimesioe el caso peggiore l algoritmo A ha complessità temporale Θ(f()) se ha complessità temporale O(f()) e Ω(f()) diciamo ache che il tempo di esecuzioe dell algoritmo è f() f() è u limite iferiore e superiore (lower-boud e upperboud), al tempo di esecuzioe dell algoritmo f() è la quatità di tempo ecessaria e sufficiete all esecuzioe dell algoritmo 12

13 strategie di aalisi più efficieti INVERTI-ARRAY(A) 1. for i = 0 to A.legth-2 2. memo = A[i] 3. A[i] = A[A.legth-1] 4. for j = A.legth-1 dow to i+2 5. traslo i avati A[i+1..] 6. A[j] = A[j-1] 7. A[i+1] = memo volte -1-1 (-1)(+2)/2 (-1)(+2)/2-1 (-1)(+2)/ ordie Θ() Θ() Θ() Θ( 2 ) Θ( 2 ) Θ( 2 ) Θ() 1. ua prima strategia più efficiete si ottiee trascurado le costati c 1, c 2, c 3, el calcolo del costo di ogi riga 2. ua strategia acora più efficiete si basa sul calcolo diretto del costo asitotico di ogi riga calcolo efficiete del costo asitotico istruzioi semplici tempo di esecuzioe costate: Θ(1) sequeza (fiita) di istruzioi semplici tempo di esecuzioe costate: Θ(1) sequeza di istruzioi geeriche somma dei tempi di esecuzioe di ciascua istruzioe 13

14 istrizioi codizioali 1. if <codizioe> the per calcolare T() 2. <parte-the> occorrerebbe sapere 3. else se la codizioe si 4. <parte-else> verifica o meo troviamo u limite superiore O-grade al tempo di esecuzioe T() come somma dei costi segueti costo O-grade della valutazioe della codizioe costo O-grade maggiore tra <parte-the> e <parteelse> troviamo u limite iferiore Ω al tempo di esecuzioe T() come somma dei costi segueti costo Ω della valutazioe della codizioe costo Ω miore tra <parte-the> e <parte-else> istruzioi ripetitive il ostro pseudocodice ci offre tre istruzioi ripetitive for, while e repeat per il limite superiore O-grade occorre determiare u limite superiore O(f()) al umero di iterazioi del ciclo u limite superiore O(g()) al tempo di esecuzioe di ogi iterazioe si compoe del costo dell esecuzioe del blocco di istruzioi più il costo di esecuzioe del test il costo del ciclo sarà: O(g() f()) aalogamete sarà: Ω(g () f ()) dove le iterazioi soo Ω(g ()) ed il costo di ua iterazioe è Ω(f ()) 14

15 istruzioi ripetitive: esempio FACT() 1. f = 1 2. for k = 2 to 3. f = f * k 4. retur f umero di iterazioi del ciclo for: Θ() costo di ua sigola iterazioe: Θ(1) costo complessivo del ciclo while: Θ( 1) = Θ() costo complessivo della procedura: Θ() FACT() 1. f = 1 2. for k = 2 to 3. f = f * k 4. retur f attezioe al modello stiamo lavorado ell ipotesi i cui le variabili (che corrispodoo ai registri della RAM) riescao sempre a coteere i umeri coivolti se la misura dell iput è il umero k di bit ecessari per rappresetare i biario avremmo k = log 2 e costo complessivo = Θ(2 k ) 15

16 chiamata a fuzioe o procedura 1. P( ) suppoiamo che u 2. programma P ivochi la 3. Q( ) procedura Q 4. sia T Q () il tempo di esecuzioe della procedura Q il tempo di esecuzioe dell ivocazioe della procedura Q i P è T Q (m), dove m è la dimesioe dell iput passato alla procedura Q attezioe: occorre determiare la relazioe tra m e la dimesioe dell iput di P esempio di chiamata a fuzioe SUM-OF-FACT() 1. sum = 0 2. for m = 0 to 3. sum = sum + FACT(m) 4. retur sum il corpo del ciclo for ha complessità Θ(1) + Θ(m) = Θ(m) il ciclo viee eseguito volte il costo complessivo del ciclo è duque: Θ() + Θ(-1) Θ(2) + Θ(1) = Θ( 2 ) il costo totale è Θ( 2 ) 16

17 Ua giustificazioe grafica (-1) + (-2) + (-3) /2 = 2 /2 = Θ( 2 ) esempio di aalisi della complessità secodo algoritmo per ivertire u array da a strategia scambio A[0] co A[A.legth-1] scambio A[1] co A[A.legth-2] scambio A[2] co A[A.legth-3] scambio A[3] co A[A.legth-4]

18 aalisi della complessità efficiete INVERTI-ARRAY-CON-SCAMBI(A) 1. for i = 0 to A.legth/2 do 2. SCAMBIA(A,i,A.legth-1-i) SCAMBIA(A,j,k) 1. memo = A[j] 2. A[j] = A[k] 3. A[k]= memo la fuzioe SCAMBIA(A,j,k) ha complessità Θ(1) i quato è composta da ua successioe di istruzioi elemetari la fuzioe INVERTI-ARRAY-CON-SCAMBI(A) ha complessità Θ() i quato esegue per Θ() volte il blocco delle istruzioi che cosiste ell esecuzioe di ua procedura Θ(1) 18