1 Località negli algoritmi di ordinamento e trasposizione di una matrice

Transcript

1 Corso: Gestione ed elaborazione grandi moli di dati Lezione del: 16 maggio 2006 Argomento: Località spaziale,temporale e trasformata di Fourier Scribes: Daniele unarin e Luca Spataro 1 Località negli algoritmi di ordinamento e trasposizione di una matrice Dopo aver considerato gli algoritmi di ordinamento e trasposizione di una matrice nel diskmodel ed avendo già affrontato nelle lezioni precedenti l analisi di complessità di I/O e del Work, è opportuno fare delle osservazioni sulla località esibiti da tali algoritmi. Infatti, in generale, quando si deve affrontare un algoritmo basandosi sul disk-model si deve cercare di utilizzare al meglio i dati che vengono trasferiti in memoria dal disco, al fine di minimizzare le operazioni di I/O. Come sappiamo esistono due tipi di località, una temporale e una spaziale. Osservazione 1 Un algoritmo con elevata località temporale esegue un work elevato per ogni blocco caricato in RA dal disco. Osservazione 2 Un algoritmo con elevata località spaziale cerca di elaborare tutti i dati del blocco che è stato caricato in RA, in modo da non dover caricare nuovamente quel blocco in un secondo momento. In altri termini quando trasferiamo in memoria dal disco un blocco di dati bisogna far in modo che l algoritmo li utilizzi tutti, non solo una piccola parte, e che li utilizzi il più possibile. Quindi chi sviluppa l algoritmo per il disk-model deve sempre preoccuparsi del layout dei dati su disco, cosa che nel modello RA tradizionale poteva essere tralasciata perchè era importante sapere solamente quali dati utilizzare e non la loro posizione reciproca. Ora dobbiamo concentrarci anche sul dove è memorizzato il dato e quali dati abbia vicino, quindi risultano necessari dei trasferimenti di blocchi di dati che non servono alla risoluzione effettiva del problema, ma che servono per migliorare le prestazioni portando vicini tra loro dati che verranno in seguito utilizzati insieme. Cerchiamo di capire come i problemi che abbiamo già trattato, l ordinamento e la trasposizione di matrici, sfruttino il principio di località. Facciamo una sintesi delle complessità di I/O e di Work degli algoritmi di ordinamento: 1

2 2-WAY ERGE SORT Complessità I/O: T,, = = Θ Θ 2T 2,, + Θ log + 1 > Work: W,, = Θ log 2W 2,, + Θ > = Θ log 2

3 -WAY ERGE SORT Complessità I/O: Work: T,, = Θ = Θ T /,, + Θ > log/ log/ W,, = Θ log W /,, + Θ log > = O log Analizziamo la località temporale guardando quanto lavoro viene fatto per ogni blocco caricato in RA dal disco. Entrambi gli algoritmi hanno Work totale ottimo pari a Θ log, ma mentre nel 2-Way erge Sort per ogni livello della ricorsione vengono eseguite Θ operazioni, nel -erge Sort vengono eseguite Θ log. Quindi per ogni blocco di taglia viene fatto nel primo caso un lavoro pari a mentre nel secondo viene fatto un lavoro pari a log. Siccome in generale > 2 log > 1 e quindi il lavoro per blocco fatto nel -erge Sort è maggiore di quello fatto nel 2-Way erge Sort. In altri termini a parità di operazioni di I/O proporzionale a faccio più lavoro nel secondo algoritmo. Siccome il lavoro totale dei due algoritmi deve essere uguale, significa che nel secondo verranno eseguite meno operazioni di I/O. Analizziamo la località spaziale. In entrambi gli algoritmi vengono utilizzati tutti i dati di ciascun blocco, prima di essere riportato su disco quindi la località spaziale è elevata per entrambi gli algoritmi. 1.1 Località spaziale nella trasposizione di una matrice Consideriamo una matrice di p q, con p q = elementi, sotto le ipotesi: - > ; - < < 2 ; - < minp, q} p, q molto grandi. 3

4 Andiamo ad analizzare la località spaziale degli algoritmi di trasposizione di matrici, prima dell approccio banale e poi di quello ricorsivo, realizzato mediante Chunk Transpose. Approccio banale La matrice A viene divisa in sottomatrici /, ma siccome < 2 < e quindi quando viene caricato il blocco che contiene una delle righe ci saranno anche dei dati che non verranno utilizzati. q p / Figure 1: Schema approccio banale. Per sistemare entry è necessario eseguire operazioni di I/O, quindi la perdita di località spaziale in questo caso è proporzionale a Siccome < 2 2 > 1 / > 1. /. 4

5 Approccio ricorsivo La matrice A viene divisa in sottomatrici : q p Figure 2: Schema approccio ricorsivo. Il numero di operazioni per trasporre 2 entry è operazioni per sistemare 2 entry è 2 log log/, facendo il rapporto si ottiene: log log/ 2 = quindi la perdità di località spaziale è pari a log log/,. Siccome il numero minimo di log log/ > 1, in quanto / <. essuno dei due algoritmi sfrutta la località spaziale in modo ottimo, ma la perdita di località è diversa: nell approccio banale è 2 log, mentre nell approccio ricorsivo è log/. onostante l algoritmo ricorsivo sfrutti la Chunk Transpose, facendo fare diversi salti ai dati da disco a memoria, la perdita di località è minore perchè gli spostamenti organizzano meglio i dati per le operazioni di I/O. 5

6 2 Trasformata di Fourier Definizione 1 Dato il vettore A a 0, a 1,..., a 1 con a k C la trasformata di Fourier di A è il vettore Y y 0, y 1,..., y 1 con: dove w = e 2πi Si indica: Y = DF T A. y k = 1 j=0 è la radice -esima dell unità. a j w k j Strategia di Cooley Tukey Possiamo vedere il vettore A come la rappresentazione in row-major di una matrice p q con = p q. A a ij p q La strategia di risoluzione di Cooley-Tukey prevede questi passi: - Calcolo della DF T p di ogni colonna di A - a ij a ij w ij moltiplicazione per il twiddle factors - Calcolo della DF T q di ogni riga - Lettura column-major della matrice risultante per ottenere il vettore Y. Come abbiamo anticipato precedentemente nell affrontare la risoluzione di un problema nel disk-model dobbiamo fare in modo di ottenere la maggior località spaziale possibile, cercando di avere gli elementi da trasferire consecutivi su disco. Inoltre possiamo scegliere opportunamente p e q in modo che almeno uno dei due gruppi di trasformate possa essere eseguito interamente in RA. on possiamo, in generale, sperare che entrambi siano. Innanzitutto poniamo alcune ipotesi per l implementazione dell algoritmo: -, potenze di 2; - 1 valore 1 word; 6

7 - q potenza di 2 tale che q posso fare le trasformate per riga di ordine q in memoria principale. Algoritmo E-FFT: E 1 -FFTA,,q if then risolvi il problema interamente in RA else p q ; //p è intero e potenza di 2 Vedi A come matrice p q in row-major e siano R i la riga i-esima di A e C j la colonna j-esima di A, con 0 i < p e 0 j < q; }. TransposeA,p,q; //cambiamo il layout dei dati /*colonne C j consecutive su disco*/ for j 0 to q 1 do E-FFTC j, p, q //chiamata ricorsiva TransposeA,q,p; /*righe R i consecutive su disco*/ for i 0 to p 1 do //seconda fase Cooley-Tukey for j 0 to q 1 do a ij a ij w ij ; for i 0 to p 1 do E-FFTR i,q,q; //caso base perchè q TransposeA,p,q; /*scriviamo la matrice in column-major in modo da ottenere il vettore risultato*/ return A; Possiamo vedere che l algoritmo implementa la strategia di Cooley-Tukey. Le funzioni aggiunte di Transpose servono per cambiare il layout dei dati su disco. Complessità di I/O al variare di q Caso 1 q = 2 Dobbiamo tener conto per l analisi sia del tempo impiegato dalle trasformazioni ma anche dalle trasposizioni: TransposeA,p,q TransposeA,q,p 2 1 E sta per External emory, per sottolineare che siamo in un disk-model 7

8 Dall analisi precedente sulle trasposizioni si può dire che il costo di ogni traspose è di Θ. Inoltre bisogna aggiungere il costo dell ultimo ciclo for che è Θ in quanto E-FFTR i,q,q è un caso base e si risolve senza ricorsione. Anche il costo delle trasformate sarà Θ 2 perchè basterà caricare in memoria un blocco di righe e fare la trasformata di ogni riga del blocco. Successivamente si caricherà il blocco successivo ripetendo il procedimento. La complessità di I/O risulta quindi: T 2,, = Θ 2T 2 2,, + Θ > ella parte ricorsiva compare il termine 2 perchè dobbiamo fare due chiamate per le due colonne, mentre il termine Θ tiene conto del costo delle trasposizioni e delle trasformazioni. Guardando l albero della ricorsione, si può vedere che a ogni livello corrisponde una complessità di I/O totale proporzionale a e quindi risulterà: T 2,, Θ 1 + log In cui il termine 1 + log rappresenta il numero di livelli se si riduce infatti a 1. Siccome le trasposizioni e le trasformate vengono eseguite efficientemente, possiamo dire che la località spaziale è elevata. 1 Caso 2 q = Complessità di I/O TransposeA,p,q: Θ 1 + log/x log/ 1 se < p dove x = p se p 2 Sappiamo che possiamo avere 3 casi per : 8

9 1. < p, q; 2. minp, q} maxp, q}; 3. > maxp, q}. Il caso 3 non si può mai verificare perchè q =, ma > q > quindi, non potrà mai superare sia p sia q. Quindi riprendendo da 2: Θ Θ Dalle ipotesi che abbiamo possiamo dire che: logmin, p} 1 + = log/ 3 log/ + logmin, p} log/ 4 p = q = Quindi semplificando la 4 otterremo il costo definitivo per le trasposizioni: Θ logmin, /} log/ 5 6 Per quanto riguarda l esecuzione delle trasformate per riga ultimo ciclo for esse sono efficienti perchè abbiamo righe di lunghezza, e quindi il numero di operazioni di I/O per eseguire queste trasformate è Θ. L espressione totale della complessità di I/O sarà allora: dove: T,, = Θ T,, + Θ σ,, σ,, = logmin, /} log/ > Procediamo allo sviluppo della forma ricorsiva considerando i diversi rapporti tra e : a T,, Θ b < 2 Le trasformate per righe e per colonne possono essere eseguite tutte in RA, quindi l albero della ricorsione ha una profondità pari a 1. e deriva che la complessità di I/O totale è dominata dalla complessità di I/O delle sole trasposizioni. Si ha che: T,, Θ σ,, 7 9

10 Sapendo dalle ipotesi che 2 log min, } tende asintoticamente a log/ e la 7 diventa equivalente a: T,, Θ log/ log/ 8 c > 2 Dall albero della ricorsione sappiamo che ad ogni livello di ricorsione la taglia scende di ogni volta il numero di livelli è Θ, ciascun livello ha complesità di I/O totale pari a: log log log Θ log/ Questo è verificato dal fatto che se è molto grande, il logmin, /} = log tranne all ultimo livello, e quindi: σ,, = log log/ 9 Sommando su tutti i livelli otteniamo: log T,, Θ log = Θ log log/ log log/ Semplifichiamo ulteriormente tenendo conto delle ipotesi imposte: se 2 e > Θlog Θ log Quindi 9 diventa: log/ T,, Θ log/ 12 In conclusione possiamo raccogliere in un unica espressione la complessità di I/O unendo i 3 casi: T,, Θ 1 + log / log/ 13 10

11 ibliografia [AV88] A. Aggarwal and J.S. Vitter. The input/output complexity of sorting and related problems. Communications of the AC, 319: , [CLR90] T.H. Cormen, C.E. Leiserson, and R.L. Rivest. Introduction to Algorithms. cgraw-hill, ew York Y, [PCG01] The PC Guide, Versione 2.2.0, Sito web 11