Note su quicksort per ASD (DRAFT)

Transcript

1 Note su quicksort per ASD (DRAFT) Nicola Rebagliati 7 dicembre Quicksort L algoritmo di quicksort è uno degli algoritmi più veloci in pratica per il riordinamento basato su confronti. L idea base è la scelta di elementi pivot che dividono il vettore in due parti:: gli elementi più piccoli del pivot e gli elementi più grandi. Ricorsivamente si applica quicksort ai due vettori divisi. Nell implementazione che vediamo gli elementi pivot vengono scelti casualmente tra gli elementi del vettore, in un certo intervallo. Studiare la complessità di quicksort non è per niente semplice. Nel caso peggiore è Θ(n ), ma nel caso medio O(n log(n)). L analisi che vedremo è dovuta ad Avrim Blum. Il codice che vediamo di quicksort è diviso in due funzioni, quicksort e partition (in figura). Algorithm 1 quicksort, vettore in input A e indici i, j if i < j then pivot partition(a,i,j) quicksort(a, i, pivot 1) quicksort(a, pivot + 1, j) end if Vediamo un esempio della funzione partition (i = 0, j = 7) con il vettore A = [14, 9, 10, 8, 3, 16,, 1]. Evidenziamo in grassetto la parte compresa tra p e q (loro esclusi). Il pivot scelto a caso è l indice 3. 1

2 Algorithm partition funzione ausiliaria per quicksort, vettore in input A e indici i, j scegli un indice pivot a caso tra gli elementi i x j scambia A[j] con A[pivot] p i 1 for q = i : (j 1) do if A[q] A[j] then scambia A[p + 1] con A[q] p p + 1 end if end for scambia A[p + 1] con A[j] return p + 1 A = [14, 9, 10, 8, 3, 16,, 1] (1) (scambio il A[pivot] = 1 con A[j])[14, 9, 10, 1, 3, 16,, 8] () (q = 0, p = 1, i = 0, j = 7)[14, 9, 10, 1, 3, 16,, 8] (3) (q = 1, p = 1, i = 0, j = 7)[14, 9, 10, 1, 3, 16,, 8] (4) (q =, p = 1, i = 0, j = 7)[14,9, 10, 1, 3, 16,, 8] (5) (q = 3, p = 1, i = 0, j = 7)[14,9,10, 1, 3, 16,, 8] (6) (q = 4, p = 0, i = 0, j = 7)[1, 9,10,14, 3, 16,, 8] (7) (q = 5, p = 1, i = 0, j = 7)[1, 3, 10,14,9, 16,, 8] (8) (q = 6, p =, i = 0, j = 7)[1, 3,, 14,9,16,10, 8] (9) (10) Per verificare il comportamento di partition usiamo la seguente invariante: all inizio di ogni iterazione del ciclo for valgono: i) i t p implica che A[t] A[j] ii) p + 1 t q 1 implica che A[t] > A[j] iii) il valore di A[j] non viene modificato In ogni momento abbiamo la seguente struttura: [i,.,., p, [.,.,.,.],q,.,.,., j]. Inizializzazione Inizialmente (subito dopo aver inizializzato l iteratore ma prima di aver eseguito del codice) p = i 1 e q = i, quindi le due condizioni i) e ii) sono vuotamente vere. Anche iii) è vera. Mantenimento Sia p la variabile p che potrebbe essere modificata dal ciclo. Dobbiamo dimostrare, sapendo che (ipotesi dell invariante)

3 i) i t p implica che A[t] A[j] ii) p + 1 t q 1 implica che A[t] > A[j] iii) il valore di A[j] non viene modificato i seguenti (nota p e q invece di p e q 1): i ) i t p implica che A[t] A[j] ii ) p + 1 t q implica che A[t] > A[j] iii ) il valore di A[j] non viene modificato Ci sono due casi da considerare, se A[q] A[j] allora p viene incrementato (e p = p + 1) e A[p ] è stato scambiato con A[q], quindi i ) vale per l ipotesi dell invariante e A[p ] A[j], ii ) vale per l ipotesi dell invariante e A[q] > A[j] (A[q] contiene il valore che era in A[p + 1]). iii ) vale banalmente. Se A[q] > A[j] valgono sia la i )(perché uguale a i)) che la ii ) (per ii) e A[q] > A[j]). La iii) è comunque soddisfatta. Terminazione Alla fine q = j e bisogna dimostrare: i ) i t p implica che A[t] A[j] ii ) p + 1 t j 1 implica che A[t] > A[j] iii ) il valore di A[j] non viene modificato Si vede che i ), ii ), iii ) valgono. Esercizio: dimostrare la correttezza (ricorsiva) di quicksort. Complessità Analizziamo il caso peggiore ed il caso medio per quicksort, nel primo caso otterremo Θ(n ), mentre nel secondo O(n log(n)). Particolarmente interessante, e significativa, è l analisi del caso medio. Per semplificare l analisi assumiamo che il vettore sia fatto di elementi distinti tra loro. Il caso peggiore per quicksort avviene quando la partition non divide significativemente il problema, ad esempio se q = i o q = j, questo avviene quando il pivot è l elemento più grande o più piccolo. In tal caso quicksort viene chiamato n volte che, moltiplicate con la complessità Θ(n) della partition dà una complessità di Θ(n ) (alternativamente, usando il teorema fondamentale si ottiene la relazione T (n) = T (n 1) + Θ(n) che ha soluzione Θ(n )). Il caso medio non è immediato da analizzare. Una prima intuizione potrebbe essere che se la partition riesce a dividere una certa costante dei dati, ad esempio 8/10, per il teorema fondamentale T (n) T (8n/10) + T (n/10) + Θ(n) e la complessità consisterebbe in O(n log(n)). Invece di provare a formalizzare questa intuizione consideriamo un approccio completamente diverso: probabilistico. 3

4 Consideriamo il vettore riordinato A con le variabili z 1, z,..., z n, (quindi z 1 z z n e z i è l i-esimo elemento più piccolo di A). Il problema dell analisi è che il pivot non è deterministico (in quest analisi consideriamo i pivot scelti casualmente e indipentemente), e quindi non è semplice capire il comportamento della partition. D altra parte noi siamo interessati al numero di confronti, quindi possiamo introdurre una variabile aleatoria X i,j che prende il valore 1 se i valori di z i, z j sono stati confrontati in un qualunque momento della quicksort, e 0 altrimenti. Essendo l algoritmo probabilistico (se lo lanciate due volte sullo stesso input probabilmente cambia il suo comportamento), lo è anche il numero totale di confronti, che è: X = n X i,j (11) Mentre il suo valore atteso 1, il numero di confronti che ci aspettiamo in media, consiste in E[X] = E (Per linearità del valore atteso) = = n n n X i,j [1 P r(z i sia confrontato con z j )+ (1) E[X i,j ] (13) +0 (1 P r(z i sia confrontato con z j ))] (14) n = P r(z i sia confrontato con z j ) (15) (16) Innanzitutto osserviamo che dato un intervallo z i x z j uno degli x dovrà essere scelto come pivot, infatti questo è l unico modo che ha quicksort per determinare se z i < z j. Dal momento che la scelta del pivot è uniforme sull intervallo z i x z j, z i è scelto con probabilità 1/(j i + 1) (idem z j ). Ebbene, questi due casi pivot = z i o pivot = z j sono gli unici in cui 1 Il valore atteso di una variabile aleatoria è la somma dei suoi valori per la loro probabilità di realizzarsi. Se gioco 1 euro sul rosso della roulette francese con probabilità 18 vinco euro, 37 e con probabilità vinco 0 euro. Il valore atteso è dunque Il valore 37 atteso di una somma di variabili aleatorie è uguale alla somma dei valori attesi delle variabili (si dice linearità del valore atteso). Se gioco per 10 volte euro sul rosso della roulette francese il mio valore atteso di vincita è = Questo vale anche nel caso di giocate dipendenti, quindi se gioco due ambi al lotto, ad esempio le coppie (13, 17) e (13, 3) (hanno il 13 in comune, per questo sono dipendenti) il valore atteso della vincita è identico a giocare due coppie indipendenti, ad esempio (13, 17) e (19, 3). 4

5 z i verrà direttamente confrontato con z j, se invece il pivot è all interno z i < x < z j i due elementi vengono confrontati indirettamente, e non ci saranno altre possibilità di confronto (notate che questo è un vantaggio). Quindi la probabilità P r(z i sia confrontato con z j ) è uguale a /(j i + 1). E[X] = Quattro osservazioni. n P r(z i sia confrontato con z j ) (17) = n n i (ciclo sulla variabile j i) = (semplice maggiorazione) < i=1 k=1 j i + 1 k + 1 n i=1 k=1 k (18) (19) (0) (somma di una serie armonica) = log(n) (1) i=1 = O(n log(n)) () (3) Come mai la probabilità non dipende dal numero totale di dati? Risposta: perché ci siamo focalizzati sull intervallo z i x z j, ogni considerazione è dunque a valle di questa focalizzazione. Come mai non consideriamo la dipendenza con gli altri intervalli? Ad esempio un sotto-intervallo z t x z o contenuto in z i z t x z o z j? Risposta: la dipendenza tra sottointervalli esiste ma non ci interessa, l operatore E[.] che calcola il valore atteso non ne è influenzato, infatti passa tranquillamente dentro alla sommatoria. Cosa succede se il pivot è estratto fuori dall intervallo z i x z j? Risposta: questa domanda è fuori tema, i pivot sono estratti un po ovunque e analizzare il modo in cui sono estratti è parecchio difficile. Nell analisi siamo già all interno di z i x z j, e quando si è all interno due cose possono succedere, come già detto. La probabilità che uno fra z i z i+1 sia scelto come pivot è 1, consistentemente con la nostra intuizione. 5