TABLESAMPLE. Di Gianluca Negrelli. SELECT TOP 25 * FROM Prodotti ORDER BY NEWID() SET NOCOUNT ON;

Transcript

1 TABLESAMPLE Di Gianluca Negrelli La clausola TABLESAMPLE, introdotta in SQL Server 2005, permette di estrarre un campione casuale di record (sample) da una qualsiasi tabella. Prima dell'arrivo di TABLESAMPLE l'estrazione di record casuali si affidava ad implementazioni manuali più o meno efficaci. Alcuni pattern di estrazione si sono progressivamente affermati per la loro affidabilità e sappiamo che nel mondo informatico gli algoritmi di riproduzione di numeri casuali non sempre lo sono. Al fine di illustrare il pattern di estrazione più famoso ipotizziamo di avere una tabella Prodotti da cui desideriamo ricavare un campione di 25 record. La risoluzione tradizionale del problema è quella di calcolare per ogni record della tabella un GUID, attraverso la funzione NEWID(), e di procedere all'ordinamento dei record basandosi su questo campo. Il campionamento è poi completato dall'uso della clausola TOP(25). SELECT TOP 25 * FROM Prodotti ORDER BY NEWID() La soluzione è semplice e pulita ed inoltre offre una campionatura su singole righe ma risente di una grossa controindicazione: le scarse prestazioni. Se la nostra tabella Prodotti contiene milioni di record, una estrazione di 25 record casuali obbliga comunque a calcolare milioni di GUID e poi a riordinarli. Quindi questo pattern di campionamento può essere considerato adeguato solo per tabelle a bassa numerosità di record. Creazione dell'ambiente di lavoro Per iniziare a sperimentare TABLESAMPLE creiamo e valorizziamo una vera tabella Prodotti. La tabella è dotata di un campo identity (ProdottiId) e di un codice memorizzato nella colonna omonima. Siccome non siamo interessati al contenuto della colonna Codice, procediamo alla sua valorizzazione attraverso una funzione che restituisca il numero dei millisecondi correnti. L'inserimento dei singoli record avviene all'interno di un ciclo WHILE. Come ultimo accorgimento fissiamo il numero di record a (vedremo poi perché è opportuno lavorare con tabelle che abbiano un certo peso) SET NOCOUNT ON;

2 -- Creazione tabella CREATE TABLE Prodotti ( ProdottoId INT IDENTITY(1,1) NOT NULL, Codice VARCHAR(50) NULL ) -- Valorizzazione tabella con i millisecondi dell'ora della scrittura WHILE (SELECT COUNT(ProdottoId) FROM Prodotti) < BEGIN INSERT INTO Prodotti(Codice) SELECT DATEPART(Ms, GETDATE()) END Estrazione di un sample dalla tabella Prodotti A questo punto possiamo procedere con l'estrazione dei campioni. TABLESAMPLE supporta un parametro che determina il numero di righe da restituire (n ROWS) o una percentuale di quelle disponibili in tabella (n PERCENT). Iniziamo a lavorare richiedendo un campione costituito da un numero di righe assoluto. SELECT * FROM Prodotti TABLESAMPLE(2500 ROWS) L'attesa è quella di un resultset casuale di righe ma, eseguendo la query più volte, ci accorgiamo di due stranezze: le righe restituite non sono mai ma, indifferentemente, un numero maggiore o inferiore e i record tendono ad essere consecutivi. Riporto qui, a puro titolo statistico, il numero di record da me ottenuti con 10 estrazioni: 1.545, 2.707, 2.326, 1.546, 3.872, 1.389, 1.933, 2.320, 1.550, Proviamo allora a richiedere la restituzione di un campione basato sulla percentuale di righe piuttosto che su un numero assoluto. SELECT * FROM Prodotti TABLESAMPLE(10 PERCENT) Utilizzando il parametro PERCENT il numero di record risultanti sembra essere altrettanto casuale che con l'utilizzo di ROWS: 3.093, 3.098, 2.712, 1.544, 1.547, 3.099, 2.321, 1.162, 5.032,

3 Cerchiamo di spiegare il perché di questo strano fenomeno. Nel primo esempio, con l'uso del parametro ROWS, SQL Server modifica il criterio di estrazione, riconducendolo comunque al PERCENT. Nel caso in oggetto righe su totali corrispondono ad un'estrazione del 10% di record. Ma il 10% di record, richiesto nel secondo esempio ed implicitamente anche nel primo, dovrebbe comunque corrispondere ad un campione risultante di righe. SQL Server non basa il suo algoritmo di selezione sui singoli record ma sulle pagine di memoria, ognuna del peso di 8KB, in cui i record di una tabella sono suddivisi. Al momento della richiesta di un sample di record, ad ognuna delle pagine della tabella, viene associato un numero casuale, che presumibilmente va da 0 a 1. Terminata questa operazione di associazione SQL Server esclude tutte quelle pagine di dati il cui numero casuale sia superiore a quello percentuale impostato dall'utente. Nel caso di un'estrazione del 25% dei record, il resultset ottenuto sarà composto da tutte le pagine che hanno ottenuto un numero casuale compreso tra 0 e 0,25, per il 10% tra 0 e 0,1. Qui si spiega il motivo per cui la tabella da cui estrarre i sample non può essere troppo piccola: è solo con dimensioni significative che il calcolo delle probabilità tende ad avvicinarsi alla descrizione reale dei fenomeni e quindi anche i numeri risultanti si avvicinano a quelli attesi. Se proviamo ad alimentare un'altra tabella, la SubProdotti, con solo un centinaio di record, otterremo delle estrazioni assolutamente non rappresentative, tanto che 10 estrazioni con una percentuale richiesta del 25% daranno un risultato simile a questo: 0, 0, 0, 100, 100, 0, 0, 100, 0, 0. Come vediamo invece di 25 record per ogni campione abbiamo ottenuto 0 o 100 record. Ciò accade perché tutti i record riescono ad essere contenuti nell'unica pagina di dati di cui è costituita la tabella. Ogniqualvolta il numero casuale attribuito a questa pagina è compreso tra 0 e 0,25, cioè circa in un quarto dei casi (33% nell'esempio reale), la pagina viene restituita completamente. Torniamo ora alla tabella Prodotti originaria e chiediamo ripetutamente il 50% dei dati con l'istruzione: SELECT * FROM Prodotti TABLESAMPLE(50 PERCENT) Analizzando i record estratti avremo la conferma che SQL Server procede alle estrazioni a pagine e non a righe.

4 Si può infatti riscontrare che il record con ProdottoId = 1, che occupa il primo posto nella propria pagina dati, viene restituito abbastanza regolarmente ogni due estrazioni. Ma quello che è importante notare è quali siano i record che immediatamente lo seguono: sono i prodotti con chiavi 2, 3, 4 ecc. cioè i record che fisicamente sono adiacenti al primo nella pagina dati. Reiterazione dell'estrazione La reiterazione dell'estrazione non garantisce la riproposizione degli stessi record perché ogniqualvolta TABLESAMPLE viene applicato ad una selezione, i numeri casuali delle pagine dati sono ricalcolati. In alcuni scenari, in cui sia necessaria la restituzione dello stesso sample anche in estrazioni differenti, TABLESAMPLE può essere istruito ad assecondare questa esigenza definendo un seed arbitrario (seme) per il calcolo delle pagine campione. La seguente query, ripetuta più volte, restituirà sempre lo stesso sample: SELECT * FROM Prodotti TABLESAMPLE(10 PERCENT) REPEATABLE (123) L'argomento di REPEATABLE, cioè il seme, è un valore di tipo int. Naturalmente, cambiando il seme tra un'estrazione e l'altra o evitando di specificarlo, anche il resultset ottenuto tornerà ad essere diverso. Esistono altre casistiche che, a parità di seme, permettono di ottenere sample differenti. Si può verificare come cambino i resultset tra un'estrazione e l'altra quanto, ad esempio, viene modificata la struttura della tabella o i dati in essa contenuti, quando si procede al rebuild degli indici o alla loro deframmentazione, al restore o all'attach del db. Una modifica alla struttura o ai dati di una tabella si riflette su una modifica delle pagine dati da cui è costituita e quindi sull'attribuzione dei numeri casuali calcolati con il risultato di restituire campioni differenti. Ambito di applicazione Fin'ora abbiamo sempre applicato TABLESAMPLE su SELECT di tabelle fisiche (Prodotti e SubProdotti) ma l'ambito di applicazione è più esteso e comprende: le tabelle temporanee locali;

5 le tabelle fisiche residenti su altri database dello stesso server db, anche se puntate via sinonimo. Per esclusione tutte le altre entità tabellari di SQL Server non supportano la clausola: tabelle derivanti da subquery; TVF (table valued functions); CTE (Common table expressions); tabelle mappate su linked server; OPENXML rowset; table variables; viste. Come estrarre un numero certo di record Non esiste un sistema per assicurarsi che il sample estratto sia dotato di un numero certo di record. Si può ricorrere comunque alla clausola TOP applicata ad un campione che però deve essere molto più grande rispetto a quello desiderato. Se ad esempio abbiamo necessità di estrarre un sample di 100 record dalla tabella Prodotti possiamo procedere con la seguente selezione: SELECT TOP 100 * FROM Prodotti TABLESAMPLE(1000 ROWS) L'estrazione di un campione di record ci rende abbastanza sicuri di riuscire poi a selezionare tutti i 100 record necessari. Ricordiamo sempre che TABLESAMPLE lavora con estrazioni di pagine e non di righe e quindi non ci garantisce neppure la restituzione di record. E' altamente improbabile, vista la numerosità dei record in tabella e di quelli richiesti, ma non impossibile, che TABLESAMPLE non estragga alcuna riga e quindi anche la nostra SELECT TOP 100 rimanga vuota. Applicazione di filtri Quale è l'ordine in cui SELECT processa un filtro rispetto alla clausola TABLESAMPLE? La questione diventa importante soprattutto nel caso di JOIN tra tabelle. TABLESAMPLE è processato come prima clausola, quindi l'estrazione del campione rappresenta la prima operazione che viene portata a termine da SQL

6 Server. Solo in seguito operano gli eventuali filtri. Il numero di record estratti applicando un sample su una tabella in JOIN con un'altra diventa quindi ancora meno deterministico in termini di righe restituite, perché oltre alla variabilità dovuta alla tecnica di estrazione del campione si aggiunge anche il fatto che righe originariamente correlate tra le due tabelle, non trovino più legami e vengano quindi escluse dalla JOIN. Ipotizzando l'esistenza di una tabella di descrizione di decodifica dei prodotti la cui chiave sia il campo Codice e ricordando che TABLESAMPLE può essere applicato alle sole tabelle fisiche e temporanee, un possibile pattern di estrazione di un sample con due tabelle in JOIN potrebbe diventare il seguente: SELECT PR.ProdottoId, PR.Codice, PD.Descrizione INTO #Prodotti FROM Prodotti PR INNER JOIN ProdottiDescrizioni PD ON PR.Codice = PD.Codice SELECT * FROM #Prodotti TABLESAMPLE(50 PERCENT) Bibliografia APress - Pro T-SQL 2008 Programmers Guide