Francesco Milano. Columnstore Indexes. What they are, and how to use them

Transcript

1 Francesco Milano Columnstore Indexes What they are, and how to use them

2

3 Who am I Mentor, Technical Working with SQL Server since 2005 edition Twitter: LinkedIn:

4 Agenda - Cosa sono i Columnstore Indexes? - Principali evoluzioni nelle varie edizioni - Demo

5 Let s start

6 Cosa sono i Columnstore Indexes? Nuova tipologia di indici introdotta in SQL Server 2012 Sfruttano il formato colonnare per il salvataggio e la gestione dei dati Basati sull engine xvelocity PowerPivot, SSAS Tabular Mode

7 Cosa sono i Columnstore Indexes? Non sostituiscono i tradizionali indici RowStore!

8 Cosa sono i Columnstore Indexes? Pensati per: tipico workload DW Table SCAN sulle tabelle dei fatti INSERT, preferibilmente BULK UPDATE e DELETE rari o nulli, preferibilmente Partition Switching Serving layer (DataMart) Hybrid Real-time Operational Analytics (SQL Server 2016+) Carico di lavoro ibrido OLTP/Analitico Besides running analytics in real-time, you can also eliminate the need for ETL and a data warehouse ouch!

9 Cosa sono i Columnstore Indexes? Hybrid Real-time Operational Analytics

10 Cosa sono i Columnstore Indexes? DW Workload OLAP ETL DWH

11 Cosa sono i Columnstore Indexes? Organizzati fisicamente in RowGroup Un RowGroup contiene al massimo record Raggiunto il limite di capienza, il RowGroup viene chiuso RowGroup Contiene un Segmento per ogni colonna dell indice Se compressi sono immutabili Se ancora aperti sono chiamati Deltastore

12 Cosa sono i Columnstore Indexes?

13 Cosa sono i Columnstore Indexes? INSERT, DELETE e UPDATE vengono censiti in B-Tree tradizionali I B-Tree che tracciano i record eliminati sono chiamati Delete Bitmap Il Garbage Collector che comprime i Delta Store chiusi e riorganizza gli indici è chiamato Tuple Mover

14 Cosa sono i Columnstore Indexes? La struttura fisica di un Columnstore Index

15 Cosa sono i Columnstore Indexes? Alcuni dei differenti stati possibili di un RowGroup

16 Cosa sono i Columnstore Indexes? Punti di forza: Compressione elevatissima Fino a 10x rispetto ad un RowStore tradizionale In-memory footprint estremamente ridotto Migliori performance nel recupero e gestione dei dati Batch execution mode Piani di esecuzione ad-hoc, con operatori ottimizzati specificatamente per gestire dati in formato colonnare

17 Principali evoluzioni nelle varie edizioni SQL Server 2012 (Enterprise) Solo NonClustered Non aggiornabili La tabella diventa, di fatto, read-only Pochi data types supportati

18 Principali evoluzioni nelle varie edizioni SQL Server 2014 (Enterprise) Clustered e NonClustered Un solo indice Columnstore per tabella Clustered: aggiornabile NonClustered: readonly Archival Compression

19 Principali evoluzioni nelle varie edizioni SQL Server 2016 (Enterprise) 1/2 Un solo indice Columnstore per tabella Clustered: aggiornabile, possibile avere più NonClustered RowStore Indexes, possibile definire Primary e Foreign Key NonClustered: aggiornabile, supporto per Filtered Indexes Supporto per tabelle In-Memory, AlwaysOn, Snapshot Isolation e Read-Committed Snaphot Isolation

20 Principali evoluzioni nelle varie edizioni SQL Server 2016 (Enterprise) 2/2 Batch mode per query single-threaded Batch mode per SORT operator, window-aggregates, multiple distinct counts Compression delay option per minimizzare l impatto di carichi transazionali

21 Principali evoluzioni nelle varie edizioni SQL Server 2016 SP1 (Enterprise, Standard, Web, Express, LocalDB) Estesi a tutte le edizioni! Superficie di programmazione comune Alcune limitazioni nelle edizioni non Enterprise Di performance Di memoria

22 Principali evoluzioni nelle varie edizioni SQL Server 2017 Clustered: supporto a colonne calcolate non persistite Non supportati indici tradizionali se presente un indice clustered columnstore contenente una colonna calcolata Supporto a nvarchar(max)

23 Principali evoluzioni nelle varie edizioni Recap e tabella comparativa

24 Demo

25 Conclusions

26 Thanks! Q&A #sqlsat707

27 Link utili MSDN Columnstore Indexes Guide: SQL Server Blog: SQL Server Tiger Team Blog: Niko Neugebauer s CI series: Columnstore Indexes Script Library: Segment Elimination article: SSIS 2016 Performance Considerations: