Funzionalita di Oracle 9i2 per il Data Warehousing

Transcript

1

2 Funzionalita di Oracle 9i2 per il Data Warehousing Enrico Proserpio Sales Consultant Director Oracle Italia

3 FY2002: Oracle Oracle Corporation 9.7 Miliardi $ Utile 2.3 Mld $ 145 filiali dirette dipendenti Oracle Italia 460 Miliardi lire 5 filiali (MI, RM, BO, PD, TO) 800 dipendenti

4 2001 Relational Database Market Share Oracle e il leader per il 4 anno consecutivo Microsoft 14.4% Sybase 3.3% Others 8.5% Informix 3.3% IBM 30.7% Oracle 39.8% Source: Dataquest, May 2002

5 2001 Database Market Share IBM bought the #1 Position Through the Informix Acquisition Informix 3.0% IBM 31.7% Microsoft Sybase 16.3% 2.6% Others 14.4% Oracle 32.0% Overall Database also includes IBM IMS, VSAM, and Microsoft Access Source: Dataquest, May 2002

6 2001 Unix RDBMS Market Oracle: Still Unchallenged on Unix Informix 7.2% IBM 17.5% Sybase 4.6% NCR 3.9% Others 3.5% Oracle 63.3% Source: Dataquest, May 2002

7 2001 Windows RDBMS Market Oracle and Microsoft are essentially tied on NT IBM 20.0% Informix 0.8% Sybase 1.6% Others 3.7% Oracle 34.0% Microsoft 39.9% Source: Dataquest, May 2002

8 Il DBMS piu usato per Data Warehouse Giga Data Warehousing Survey Validates Expectations, Contains Surprises. by Lou Agosta, Giga Information Group 2002

9 Oracle9iDB Most Popular on Linux IBM 17.3% Informix 8.4% Progress 4.1% Other 1.4% Oracle9i 46.4% Open Source Ingres/Postgres 22.5% Editor s Choice Award April, 2002 Source: IDC, October 2001

10 Oracle: Il Database di riferimento per le Packaged Applications Other 24% Oracle 76% Other 28% Oracle 72% SAP PeopleSoft Other 19% Oracle 81% Other 27% Oracle 73% Siebel i2 Source: The FactPoint Group, April 2002

11 Oracle: leader tecnologico da piu di 20 anni Real Application Clusters Flashback Query VLDB Support Built in Messaging Object Relational Support Support for All Multimedia Data Warehousing Optimizations Parallel Operations Active Business Rules Distributed Transaction Support Cluster and MPP Support Multi-version Read Consistency Client/Server Support Platform Portability Commercial SQL Implementation Virtual Private Database Internet File System Built in Java VM Internet Enabled Database

12 Oracle9i Infrastruttura Completa di e-business Intelligence

13 Oracle9i Database Unico Data Server per la e-business Intelligence Data Warehousing ETL OLAP Data Mining M e t a d a t a

14 Oracle9i Application Server Per tutte le applicazioni di e-business Intelligence Portal M e t a d a t a Query & Reporting BI Components Real-time Personalization Hello! We have recommendations for you.

15 Oracle9i Infrastruttura Completa di e-business Intelligence Oracle9iDB Data Warehousing Oracle9iAS Portal ETL OLAP Data Mining M e t a d a t a Query & Reporting BI Components Real-Time Personalization Hello! We have recommendations for you.

16 Oracle Warehouse: Architettura SORGENTI GESTIONE ACCESSO Dati Operazionali Dati Web Integrazione dei Dati Warehouse Data Mart Distribuzione delle informazioni Reporting Query Analisi Dati Esterni Metadati Mining Disegno ed Amministrazione

17 Oracle 8i Oracle Warehouse: Prodotti Dati Operazionali Dati Web Warehouse Builder Analytic Applications Sales Analyzer, Financial Analyzer, ABM, Balanced Scorecard Oracle8i Application Server Reports Discoverer Express Dati Esterni Express Darwin CWM Metadata Portal

18 Oracle 9i Oracle Warehouse: Prodotti Dati Operazionali E-Business Intelligence Suite Oracle9i Reports Discoverer Dati Web Warehouse Builder ETL Infrastructure and OLAP Services and Data Mining BI Beans Dati Esterni CWM Metadata Portal

19 Oracle 9i Database Server: La Piattaforma per la Business Intelligence Data Warehousing ETL OLAP Performance, scalabilita, VLDB, facilita di gestione ETL OLAP Data Mining Data Mining Oracle9i

20 Oracle 9i Database Server: Data Warehousing Data Warehousing ETL OLAP Data Mining Oracle9i Gestione di grandi volumi di dati Elevate performance in interrogazione Gestione di molti utenti concorrenti Semplice amministrazione Oracle9i introduce moltissime nuove DW features

21 Gestione di grandi volumi di dati

22 Gestione di grandi volumi di dati Partitizionamenti e parallelismi sono fondamentali per la gestione di un VLDB Il partizionamento dei dati consente operazioni incrementali per: Caricamenti Indicizzazione Backup e recovery Parallelismo per tutte le operazioni DBA operations: loading, index-creation, table-creation, datamodification, backup and recovery End-user operations: Queries

23 NOV 2000 Caricamenti efficenti: Operazioni Rolling Window NOV 2000 NOV 2000 NOV 2000 NOV 2000 NOV NOV 2000 NOV OCT SEP AUG Tabelle partizionate per range con indici locali: 1.carico ed indicizzo offline il nuovo mese NOV 1999 OCT 1999

24 Caricamenti efficenti: Operazioni Rolling Window Partitioned Tables with Local Indexes 1. carico ed indicizzo offline il nuovo mese 2. Aggiungo il nuovo mese alla tabella 3. Rimuovo ed archivio il vecchio mese NOV OCT SEP NOV DEC DEC DEC DEC NOV NOV NOV OCT OCT OCT

25 Benefici del Partizionamento I nuovi dati vengono caricati con il minimo utilizzo di risorse e con il minor disturbo per l utente (gli altri dati sono sempre disponibili) Schemi di partizionamento supportati Range Hash List Composite

26 Hash partitioning Key Value Hashing Function Hash1 Hash2 Hash3 Hash4 Le righe vengono inserite nelle partizioni basandosi su una funzione di hash sulla chiave di partizionamento Ottimo per data striping e parallel DML Semplice sintassi Non ideali per dati storici e rolling windows Ottimo per DML paralleli

27 List Partitioning Utile per il partizionamento in domini discreti Geografia Categorie di prodotto Data source, etc. Benefici: contollo piu preciso sulla distribuzione dei dati tra le partizioni CREATE TABLE sales_by_region (...) PARTITION BY LIST (state) ( PARTITION q1_northwest VALUES ( OR, WA ), PARTITION q1_southwest VALUES ( AZ, UT, NM ), PARTITION q1_northeast VALUES ( NY, VM, NJ ), PARTITION q1_southeast VALUES ( FL, GA ));

28 List Partitioning Stessi benefici delle rolling window: il dato e partizionato in base ai business requirements Maintenance Europe Americas Region Region Asia Region GMT Online Queries

29 Composite Partitioning Range partition per i processi di business Hash partition oppure List partition RANGE (sales_date) HASH (sales_id) NOV 1998 Sub-1 Sub-2 Sub-3 OCT 1998 Sub-1 Sub-2 Sub-3 SEP 1998 Sub-1 Sub-2 Sub DEC 1997 Sub-1 Sub-2 Sub-3 NOV 1997 Sub-1 Sub-2 Sub-3

30 Parallel data movement Bulk loading in un data warehouse: Parallel load Parallel index Parallel analyze Costruzione e mantenimento di aggregati Parallel create-table-as-select Parallel insert Bulk changes e manutenzione Parallel delete,update Parallel partition operations: split, merge

31 Parallel INSERT, UPDATE, e DELETE Query--Index--Load Query--Index--Load Insert--Update--Delete Insert--Update--Delete Quando si devono gestire database di grandi dimensioni, le operazioni devono essere fatte in parallelo per ottenere i tempi di risposta che l utente vuole C P U C P U C P U C P U C P U C P U C P U C P U Le istruzioni di DML parallele consentono di effettuare le bulk operation in modo efficente, il che semplifica i processi di caricamento dati

32 Table Compression: Come funziona Le righe duplicate vengono memorizzate in una symbol table per ogni blocco Uncompressed <rowid> <rowid> <rowid> <rowid> <rowid> <rowid> <rowid> Compressed <symbol table: <A>= , = , <C>= > <rowid> <A> <rowid> <A> <rowid> <A> <rowid> <A> <rowid> <A> <C> <rowid> <C> <rowid> <C>

33 Table Compression: Compression Ratios Small CPG data warehouse (40GB) Table # Blocks Uncompressed # Blocks Compressed Ratio Fact Table (one partition) :1 Aggregate table # :1 Aggregate table # :1 Compression can reduce total DW size to 1/3 its original size

34 Elevate performance in interrogazione

35 Elevate performance in interrogazione Il miglior approccio per qualsiasi query Integrato Completo Materialized Views Summary management Analytic functions Cube e Rollup Query Optimizer Partitioning Parallel Operations Access & Join Methods Functional indexes

36 Elevate performance in interrogazione: Partizionamento Partizionamento e Performance Scalabilita indipendente dal volume di dati interessato Ottimizzazione intelligente delle query con eliminazione delle partizioni non interessate Trasparenti per utenti e applicazioni Il partizionamento degli indici consente la loro scansione parallela Striping dei dati su dischi diversi Le partizioni hanno stessi attributi logici ma diversi attributi fisici Partition One Application SQL Table Partition Two Partition Three

37 Elevate performance in interrogazione: Partizionamento Trova tutti i clienti maschi che hanno fatto un ordine in aprile Partition skipping Oracle accede solo alle partizioni interessate Parallelismo non e limitato dal partizionamento order table jan_orders feb_orders mar_orders apr_orders

38 Il Partitizionamento in un Data Warehouse... Lo schema di Partizionamento deve essere disegnato per semplificare la gestione del sistema, non per il parallelismo delle query Le operazioni di interrogazione (comprese quelle in parallelo) traggono beneficio dal partizionamento, ma non dipendono dal partizionamento

39 Elevate performance in interrogazione: Esecuzione in Parallelo delle Query SQL query server query server query coordinator query server query server query coordinator query server query server results Il Query coordinator alloca i query servers, e divide la query in subtasks distinti Ogni set di query servers effettua compiti diversi (e.g. scanning, sorting, joining) I risultati vengono passati da un set di query servers al successivo

40 Elevate performance in interrogazione: Esecuzione in Parallelo delle Query select sum(revenue), store from line_items group by store cost Data on Disk Query Servers Coordinator scan scan scan Scanners scan line_items, in parallel sort A-KA sort L-S L sort T-ZT Sorters sort by store, sum revenues dispatch work; assemble results Coordinates servers, returns results

41 Oracle Parallel Query Dynamic Partitioning Ogni tabella e dinamicamente divisa in gruppi di blocchi basandosi su: grado di parallelismo # di blocchi nella tabella Part 1 of 4

42 Oracle Parallel Query Dynamic Partitioning Ogni tabella e dinamicamente divisa in gruppi di blocchi basandosi su: grado di parallelismo # di blocchi nella tabella I gruppi di blocchi vengono assegnati ai query processor per la scansione Scanner 1 Scanner 2 Scanner 3 Part 2 of 4 (Parallel Degree = 3)

43 Oracle Parallel Query Dynamic Partitioning Ogni tabella e dinamicamente divisa in gruppi di blocchi basandosi su: grado di parallelismo # di blocchi nella tabella I gruppi di blocchi vengono assegnati ai query processor per la scansione Non tutti i blocchi vengono inizialmente assegnati ai gruppi da scandire Un insieme addizionale di blocchi viene assegnato ad ogni query processor man mano che completa il lavoro assegnatogli Scanner 2 Scanner 3 Scanner 1 Next Available Scanner Next Available Scanner Part 3 of 4 (Parallel Degree = 3)

44 Oracle Parallel Query Dynamic Partitioning Ogni tabella e dinamicamente divisa in gruppi di blocchi basandosi su: grado di parallelismo # di blocchi nella tabella I gruppi di blocchi vengono assegnati ai query processor per la scansione Non tutti i blocchi vengono inizialmente assegnati ai gruppi da scandire Un insieme addizionale di blocchi viene assegnato ad ogni query processor man mano che completa il lavoro assegnatogli L obiettivo e di manterere occupati tutti i query processor finche l intero job e stato completato e di fare in modo che tutti finiscano quasi contemporaneamente Scanner 1 Scanner 2 Scanner 3 Part 4 of 4 (Parallel Degree = 3)

45 Elevate performance in interrogazione : Tecniche avanzate di indicizzazione e join Indici Indici B-tree i tipici indici relazionali Indici Bitmap (7.3) Bitmap join index (9i) Altri: Functional index (8i) Indici Cluster e Hash Cluster Index-Organized Tables Join Nested-loop join i classici join Sort-merge join Hash join (7.3)

46 Elevate performance in interrogazione : Hash Joins Un algoritmo di join estremamente indicato per l esecuzione parallela Usa uno schema di in-memory hashing costruito a run-time evita l ordinamento (SMJ) nessun bisogno di un indice (NLJ) L ottimizzatore sceglie l hash join nei casi piu appropriati basandosi su: Dimensione tabelle Memoria disponibile Indici disponibili Supera in performance gli altri tipi di join Disponibile solo se si usa il cost-based optimizer

47 Hash Join: Come funziona? Scan Table B Memory Table A Caso semplice Passi Tabelle A, B con A < A 1. Carica A in memoria 2. Costruisce la hash table su A per un efficente in-memory lookup 3. Scandisce B da disco. Per ogni riga in B, trova le righe corrispondenti in A usando la funzione di hash 4. Finisce quando termina la scansione

48 Elevate performance in interrogazione: Bitmap Index (static) Colonne con cardinalita medio-bassa Dove il numero di valori distinti e piccolo rispetto al numero di righe nella tabella Operazioni Set-based Operazioni di tipo bitmap: AND, OR, MERGE, MINUS, COUNT Adatti specialmente per query grandi e complesse e per operazioni logiche Da 3 a 20 volte piu piccoli degli indici b-tree Tempo di creazione ridotto

49 Elevate performance in interrogazione: Bitmap Index Struttura di un bitmap index CREATE BITMAP INDEX PROD_COLOR ON PROD(COLOR) Una bitmap distinta viene creata per ciascun valore della colonna color, con un bit per ciascuna riga Viene inoltre creata una semplice struttura b-tree per trovare ciascun bitmap <Blue, <rowid>, > <Green, <rowid>, > <Red, <rowid>, > <Yellow, <rowid>, >

50 Elevate performance in interrogazione: Bitmap Index income: {A, B, C} A: < > B: < > C: < > sex: {M, F} M: < > F: < > Select name, address from customers where income in ( A, B ) and sex = M ; income = A or B: < > (income = A or B) and sex = M < > Un bitmap per ciascun valore, un bit per ciascuna riga Combinazione efficente di bitmap usando operatori logici (AND, OR ecc) Elevato guadagno in performance per questo tipo di query

51 Elevate performance in interrogazione: Dynamic Bitmap Indexes Show all clients who live in California or Oregon AND whose client_id is between 2000 and 2200 TABLE ACCESS BITMAP AND OPERATOR BITMAP OR OPERATOR Convert: B-TREE TO BITMAP RANGE SCAN: BITMAP STATE = California RANGE SCAN: BITMAP STATE = Oregon RANGE SCAN: B-TREE CLIENT_ID BETWEEN...

52 Join Indexes Sales Sales_Products Products CREATE TABLE TABLE Sales_Products AS AS SELECT s.*, s.*, p.* p.* FROM FROM sales sales s, s, products p WHERE WHERE s.product_id = p.product_id SELECT prod_code FROM FROM sales sales s, s, products p WHERE WHERE s.product_id = p.product_id AND AND p.product_group = HOUSEHOLD SELECT prod_code FROM FROM Sales_Products WHERE WHERE product_group = HOUSEHOLD

53 Bitmap join indexes Sales Customer CREATE BITMAP INDEX cust_sales_bji ON Sales(Customer.state) FROM Sales, Customer WHERE Sales.cust_id = Customer.cust_id; Index key is Customer.State Indexed table is Sales <Italia, <rowid>, > <UK, <rowid>, > <Francia, <rowid>, > <Belgio, <rowid>, >

54 Bitmap join indexes Sales Customer SELECT SUM (Sales.amount_sold) FROM Sales S, Customer C WHERE Sales.cust_id = Customer.cust_id AND Customer.state = Italia ; <Italia, <rowid>, > <UK, <rowid>, > <Francia, <rowid>, > <Belgio, <rowid>, > Per risolvere la query vengono usati solo l indice e la Sales table. Nessun join con la tabella Customer

55 Functional Indexes create index on EMP ( SAL + COMM ); create index on EMP ( UPPER (ENAME) ); UPPER() + select * from EMP where SAL + COMM > 1600; select * from EMP where ENAME = ADAMS ; EMP Table ENAME SAL COMM DEPT Jones Adams Smith L accesso ad indice sostituisce un full table scan Accesso veloce a dati basati su una espressione, una built-in function o una user-defined function

56 Elevate performance in interrogazione : Star Query Fact Table PN ProductName ShipWgt LJ3 Laserjet III 22 LJ4 Laserjet 4 20 LJ3P Laserjet 3P 18 IJ500 Deskjet Product Table PN C_Code Week Discount Sale LJ3 Btn LJ4 Dvn LJ3P Tpa IJ500 Dvn LJ2 Btn IJ550 Dvr Sales Table C_Code City Btn Boston Dvn Denver Tpa Tampa Chg Chicago Market Table Period Table Week WeekName AbbrevDate 9503 Week ending 1/5/95 Jan Week ending 1/12/95 Jan Week ending 1/19/95 Jan Week ending 1/26/95 Jan25 Star Schema: diverse piccole tabelle dimensionali connesse ad una grandissima tabella dei fatti Le query devono mettere in join le tabelle dimensionali con la tabella dei fatti

57 Elevate performance in interrogazione: Star Query Star Query Transformation Uso innovativo dei bitmap indexes Star Schema Complessi diverse dimension table dimension table non vincolate grandi dimension table snowflake schema Ottimizzato per fact tables sparse Eseguito in parallelo

58 Elevate performance in interrogazione : Star Query in Oracle 8 Example Query: Store SELECT store.district, time.quarter, SUM(sales.dollar_sales) FROM sales, store, time, product WHERE sales.store_key = store.store_key AND store.district = WEST AND sales.time_key = time.time_key AND time.quarter IN ( 3Q96, 4Q96 ) AND sales.product_key = product.product_key AND product.dept = GROCERY GROUP BY store.district, time.quarter; Product Sales Time

59 Elevate performance in interrogazione : Star Query in Oracle 8 Query Transformation: SELECT FROM sales WHERE store_key IN (SELECT store_key FROM store WHERE district = WEST ) AND time_key IN (SELECT time_key FROM time WHERE quarter IN ( 3Q96( 3Q96, 4Q96 )) AND product_key IN (SELECT product_key FROM product WHERE dept = GROCERY ); L ottimizzatore riconosce che questo e un potenziale candidato per lo star-query algorithm di Oracle8 Implementa quindi una query transformation e sceglie le tecniche di index/join piu opportune

60 Elevate performance in interrogazione : Star Query in Oracle 8 Each dimension: STORE_KEY STORE_NAME STORE #1 STORE #2 STORE #3 STORE #4 STORE #5 STORE #6 STORE #7 SALES_DISTRICT NORTH WEST SOUTHWEST SOUTH WEST NORTH WEST store_key in (select store_key from store where store.district = WEST ) store_key in (2, 5, 7)

61 Elevate performance in interrogazione : Star Query in Oracle 8 Query Transformation: SELECT FROM sales WHERE store_key IN (2, 5, 7,...) AND time_key IN ( 01( 01-JUL DEC-96 ) AND product_key IN (46, 52, 81, 92, ); Questa e una query ideale per i bitmap index La chiave per delle buone performance in una star-query e un accesso efficente alla fact table Vengono estratte solo le righe pertinenti della fact-table Quindi viene fatto il join di queste righe con le dimension table rilevanti

62 Summary Management tramite Materialized Views Incremento delle performance riscrittura automatica delle query per accedere alle sommarizzazioni gia create Il sistema fornisce suggerimenti sulla creazione, manutenzione e cancellazione delle materialized view Permette aggiornamenti automatici e veloci delle sommarizzazioni Product quantities Sales Regional sales Quarterly sales

63 Summary Management tramite Materialized Views Queries are re-written automatically to use any available summaries Region State City Product Sales Sales by Brand Sales by City Time Data pre-summarized and automatically maintained by the database Sales by Month

64 Materialized Views Una Materialized view e una istanziazione di uno statement SQL - e una vista con una struttura dati L ottimizzatore riscrive le query fatte sulla tabella base perche vadano invece ad interrogare la vista Le riscritture sono trasparenti per le applicazioni Le riscritture non richiedono alcun privilegio particolare Le materialized views possono essere sia partizionate che indicizzate indipendetemente dalla tabella base CREATE CREATE MATERIALIZED MATERIALIZED VIEW VIEW sf_sales sf_sales AS AS SELECT SELECT * FROM FROM sales sales WHERE WHERE city_name city_name = SAN SAN FRANCISCO FRANCISCO Sales CREATE SF_Sales SELECT SELECT prod_code prod_code FROM FROM sales sales WHERE WHERE city_name city_name = SAN SAN FRANCISCO FRANCISCO SELECT SELECT prod_code prod_code FROM FROM sf_sales sf_sales

65 Materialized Views - Esempio di Summary Management Region Product State City Sales CREATE Sales by Brand, City and Month Time

66 Come creare una Summary CREATE MATERIALIZED VIEW VIEW sales_sumry TABLESPACE sum_data STORAGE(INITIAL 10M) 10M) PARALLEL(4) BUILD BUILD IMMEDIATE REFRESH FAST FAST ENABLE QUERY QUERY REWRITE AS AS SELECT p.brand, c.city_name, t.month, SUM(s.amt) AS AS tot_sales FROM FROM sales sales s, s, city city c, c, time time t, t, product p WHERE WHERE s.city_name = c.city_name AND AND s.state_code = c.state_code AND AND s.sdate = t.sdate AND AND s.prod_code = p.prod_code GROUP GROUP BY BY p.brand,c.city_name,t.month;

67 Esempi di Query rewrite - Exact Match Caso semplice - le colonne del join corrispondono a quelle dell aggregazione La Query puo contenere delle clausole di filtro come HAVING. Non richiede alcuna dimension SELECT p.brand, c.city_name, t.month, SUM(s.amt) FROM FROM sales sales s, s, city city c, c, time time t, t, product p WHERE WHERE s.city_name = c.city_name AND AND s.state_code = c.state_code AND AND s.sdate = t.sdate AND AND s.prod_code = p.prod_code GROUP GROUP BY BY p.brand, c.city_name, t.month HAVING SUM(s.amt) > ; SELECT brand, city_name, month, tot_sales FROM FROM sales_sumry WHERE WHERE tot_sales > ;

68 Dimensions e Hierarchies TIME Table TIME Dimension SALES_DATE WEEK MONTHMONTH_NAME QUARTER YEAR SALES_DATE WEEK MONTHMONTH_NAME QUARTER YEAR SEASON SEASON /1/88 1/1/ January January Winter Winter 1/2/88 1/2/ January January Winter Winter 1/3/88 1/3/ January January Winter Winter 1/4/88 1/4/ January January Winter Winter 1/5/88 1/5/ January January Winter Winter 1/6/88 1/6/ January January Winter Winter 1/7/88 1/7/ January January Winter Winter 1/8/88 1/8/ January 1 January Winter Winter 1/9/88 1/9/ January January Winter Winter.. 2/1/88 2/1/ February 1 February Spring Spring 2/2/88 2/2/ February 1 February Spring Spring 2/3/88 2/3/ February 1 February Spring Spring Season ALL Week Sales date Year Quarter Month Hierarchy Level Month name Attribute 3 hierarchies

69 Come dichiarare Dimensions and Hierarchies Le Dimension possono essere dichiarate come oggetti del data dictionary Le Dimension possono basarsi su colonne di tabelle diverse Le Dimension sono opzionali ma sono raccomandate perche : Consentono ulteriori query rewrites per le sommarizzazioni Aiutano a documentare le gerarchie Possono essere usate dai tool OLAP CREATE DIMENSION time_dim LEVEL LEVEL sdate sdate IS IS time.sdate LEVEL LEVEL month month IS IS time.month LEVEL LEVEL qtr qtr IS IS time.quarter LEVEL LEVEL yr yr IS IS time.year HIERARCHY calendar_rollup ( sdate sdate CHILD CHILD OF OF month month CHILD CHILD OF OF qtr qtr CHILD CHILD OF OF yr yr ) ATTRIBUTE month month DETERMINES month_name;

70 Esempi di Query rewrite - Aggregate Roll-up La Query richiede una aggregazione ad un livello maggiore di quello della summary YEAR invece di MONTH La Time dimension e usata per determinare se e possibile fare il roll-up da MONTH a YEAR SELECT t.year, p.brand, c.city_name, SUM(s.amt) FROM FROM sales sales s, s, city city c, c, time time t,product p WHERE WHERE s.sdate = t.sdate AND AND s.city_name = c.city_name AND AND s.state_code = c.state_code AND AND s.prod_code = p.prod_code GROUP GROUP BY BY t.year, p.brand, c.city_name; SELECT v.year, s.brand, s.city_name, SUM(s.tot_sales) FROM FROM sales_sumry s, s, (SELECT distinct t.month, t.year FROM FROM time time t) t) v WHERE WHERE s.month = v.month GROUP GROUP BY BY v.year, s.brand, s.city_name;

71 Summary Advisory Oracle Trace Optional workload Data dictionary Summary advisor Summary usage Summary recommendations Space requirements

72 Summary Advisor Wizard

73 Gestione di un numero elevato di utenti concorrenti

74 Scalabilità Laptop Singolo SMP Cluster & PDA Processore Windows 95/98/CE PalmOS, Epoc Windows NT- Windows 2000 Linux Unix: SUN Solaris, HP-UX, IBM AIX, Compaq Tru64,,... Massive Parallel Mainframe MVS OpenVMS

75 Oracle9i Real Application Clusters Scalabilita lineare Shared Cache Architecture using Cache Fusion Full Cache Fusion Implementation funziona con contention di tipo read/read, read/write, write/write Qualsiasi applicazione puo scalare in un cluster Le applicazioni non devono essere cluster aware Scalabilita lineare--piu nodi, piu throughput

76 Oracle Parallel Query su Cluster e MPP Query Server 1 Server 2 Oracle RDBMS Subquery Real Application Cluster Oracle RDBMS Subquery Real Application Cluster Server 3 Oracle RDBMS Subquery Real Application Cluster Server N Application ClusterWare ClusterWare ClusterWare ClusterWare Sistema operativo Sistema operativo Sistema operativo Sistema operativo

77 Oracle9i Database - Alta affidabilita System Failures Real Application Clusters Continuous Availability for all Applications Unplanned Downtime Data Failures & Disasters Data Guard Guaranteed Zero Data Loss Human Errors Flashback Query Enable Users to Correct their Mistakes Planned Downtime System Maintenance Database Maintenance Dynamic Reconfiguration Capacity on Demand without Interruption Online Redefinition Adapt to Change Online

78 Gestione di un numero elevato di utenti concorrenti Requisiti: Garantire sempre e comunque un utilizzo ottimale delle risorse Fornire la quantita di risorse appropriata per qualsiasi job o query in base alla priorita ed al carico di sistema Prevenire le runaway queries proattivamente Prevenire i system overloading proattivamente La gestione di numeri elevati di utenti deve essere semplice ed automatica

79 Fornire le risorse appropriate a ogni Query CPU I processi Business-critical ricevono piu CPU Memoria Il Database Resource Manager permette ai DBA di assegnare quantita di CPU a gruppi di utenti Oracle9i alloca dinamicamente a runtime la memoria ai processi basandosi su quella disponibile e sui requirement di ciascuna query Parallelismo Il grado di parallelismo e determinato dinamicamente in base alle risorse disponibili e ai requirement di ciascuna query

80 Database Resource Manager Il Database Resource Manager in 8i/9i gestisce: utilizzo della CPU numero massimo di sessioni attive limita il grado di parallelismo Obiettivi: permettere il massimo throughput, evitando contemporaneamente over-loading o thrashing fornire un meccanismo di priorita : gruppi di utenti diversi hanno diversi livelli di accesso alle risorse del database

81 Gestione proattiva dei DW Workloads Predictive Query Governing and Dynamic Reprioritization: Le query che si stima dureranno piu di un limite specificato dal DBA verranno abortite o deprioritizzate Automatic Queuing: Si puo mettere un limite sul numero di sessioni attive per ogni gruppo di utenti; ulteriori query sottomesse al sistema oltre tale limite verranno accodate Il tutto con il Database Resource Manager

82 Example Scenario Power Users Up to 70% of the CPU resources Any degree of parallelism Any query which is expected to take over one hour will be migrated to background Report Users Up to 20% of the CPU resources No parallelism Limit of 40 concurrent queries Any query which is expected to take over 20 minutes will be aborted Background Jobs Up to 10% of the CPU resources Any degree of parallelism Limit of 5 concurrent queries

83 Self-Tuning Parallel Query Setup semplificato per la parallel query Un algoritmo che adatta il grado di parallelismo della query a seconda del carico di lavoro concorrente sul sistema Load-balancing per Real Application Cluster PARALLEL_AUTOMATIC_TUNING = true true PARALLEL_ADAPTIVE_MULTI_USER PARALLEL_PROCESSES_PER_CPU Gestione semplificata Migliori performance complessive sia per ambienti single che multi-user user

84 Amministrazione semplificata

85 Amministrazione semplificata: Oracle Enterprise Manager Console Unico punto di gestione 100% Java Pannelli customizzabili eventi job

86 Architettura a tre livelli (browser-based) Web Server Oracle Management Server Agent Server Console Repository Agent Server Console Console Oracle Management Server Agent Server

87 Enterprise Manager Reporting Framework Disponibilita di report predefiniti: current status, setup/configuration info, etc. Possono essere editati e pubblicati su Web

88 Oracle Enterprise Manager: Management Packs Diagnostics Pack - Monitoraggio e diagnosi di sistema Traccia le prestazioni del sistema Fornisce operativita a minor costo, incrementa la produttivita del DBA, massimizza la continuita di servizio Tuning Pack - Ottimizza le prestazioni Elimina i colli di bottiglia nel sistema - migliora l impiego delle risorse Change Management Pack - Valutazione e pianificazione delle modifiche del sistema Riduce i costi, aumenta la produttivita del DBA, consente risposte rapide a nuovi requisiti

89 Performance Overview Chart Correlazione delle performance del server e del Database CPU Memoria I/O Consumo di Risorse Drilldown to Details Advice Database Sessions

Vedere altro