On Line Analytical Processing

Transcript

1 On Line Analytical Processing Data integra solitamente Warehouse(magazzino dati) èun sorgenti un unico schema globalel informazione estratta da piu puo replicazioneai puo essere èinterrogabile, non modificabile ricostruito un architettura ai database per l integrazionel integrazionedi distribuiti database alternativa alla Maggini, aggiornato Scarselli immediatamente(es. periodicamente(es. periodicamente(es. le Sistemi tutte le notti) per basi ogni di ntransazioni) dati 2 Data Warehouse

2 OLTP(On Gestione Line TransactionProcessing) Dati (molti operatori) efficientedei dati in linea Semplici relativi privi da di realizzare allo errori stato e completi attualedell azienda e diffusi capillarmente Operational I sistemi OLTP non sono adatti all analisi dei dati databases Data sources Maggini, Scarselli Sistemi per basi di dati 3 OLAP(On Pochi I dell azienda dati storicipossono utentidedicati LineAnalyticalProcessing) all analisi essere utili dell andamento per la pianificazione Grandi e Capire Stabilire supporto quantita di quali l efficacia alle prodotti decisioni dati delle sono promozioni di maggiore sui successo prodotti Warehouse Data Dati spesso scorretti o incompleti Maggini, Scarselli Sistemi per basi di dati 4 OLTP vs OLAP OLTP vs OLAP II

3 Gli OLTP Operational sono databases la fonte principale di informazioni Data per gli OLAP ApplicazioneOLTP Warehouse Applicazione OLAP Maggini, Scarselli Sistemi per basi di dati 5 Definizione Ottimizzazione dei dati per di utenti un interfaccia che svolgono di analisi attività Si di analisi supporto alle decisioni di separa invece l ambiente che delle di operazioni gestione on-line da in di quello linea Warehouse server Data OLAP servers E l analisi Il interattivo warehouse-dw) centro che on-line avviene modo Maggini, Scarselli èil magazzino dati(data Data marts Sistemi per basi di dati 6 OLTP vs OLAP III Perché OLAP

4 Vendite Marketing e predizione delle vendite delle ricerche promozioni di mercato Produzione analisi segmentazione dei consumi Maggini, Pianificazione dei mercati/clienti Analisi Scarselli dei difetti della produzione Sistemi per basi di dati 7 Studio Alti dell InternationalData Corporation(IDC) 1996 Ritorno costi per l implementazione di una efficace DW 90% 25% delle di investimento aziende con piùdel ritorno medio superiore in 600% 3 anni di ritorno del al 40% 401% MA Maggini, Scarselli Sistemi per basi di dati 8 Esempi di applicazioni OLAP E un investimento! Maggiore produttività dei decision-makers

5 Externalsources Monitoringand Operational Extract Transform Load Refresh Warehouse server Data OLAP servers Tools databases repository Metadata administration Serve analysis OLAP Data sources Maggini, Sistemi Scarselli orientati all elaborazione Data elaborazionee marts Sistemi per basi di dati all analisidei Data reports dati mining 9 Externalsources I sistemi OLTP(i Operational databases Il suo data interno warehouseserver integrandoli Data sources Extract Transform operativi) Load servertrasferisce Refreshsono i dati una Warehouse server Data dati nella data warehousesono (vista unitaria tipo dei storico-temporale dai dati) fonte database temporale dati L importazione operativi al Occorre Maggini, e periodica(riallineamento Scarselli garantire dei la dati qualitàdei èasincrona(disallineamentocontrollato batch) Sistemi datinella per basi DW di dati dei dati) 10 On Line Analytical Processing Data warehousing

6 Externalsources Operational Fonti dati databases Raccolte Data eterogenee dati sources non Export Filter Load Refresh Warehouse server Data Data Export access mining Dati Accesso Creazione/aggiornamento gestiti tramite da DBMS connectorse gestite di vecchia da e DBMS filtridati generazione (es. forniti i log di (legacysystems con un il Web DW systems) server) acquisizione aggiornamento Maggini, Scarselli(load) (refresh) tramite Sistemi procedure per basi di dati di 11 I data Data source Export Filter Load Refresh Warehouse filtercontrollano la correttezza dei dati server Data nella eliminazione DW effettuando dei dati scorretti data cleaning vincoli e controlli prima su dell inserimento I una data sorgenti certa exportsono sorgente dati i (DBMS, driver che documenti, consentono...) l estrazione una dei opiù dati da Maggini, deve Scarselli gestire un aggiornamento Sistemi incrementale per basi di dati (basato sulle modifiche) 12 La data warehouse Data filter & export

7 Componente Data source Export Filter Load Refresh Warehouse di acquisizione dati (load( load) server Data Componente inserimento costruzione eseguita delle iniziale strutture dei dati aggiornamento batch allineamento quando incrementale la DW dati dati(refresh della non della refresh) èusata DW DW Maggini, utilizza Scarselli le modifiche sulle sorgenti Sistemi per basi di dati 13 Il refreshèbasato Data source Export cancellazioni, Archivi Filter inserimenti su variazionali Load Refresh Warehouse archivi variazionaliche server Data Data triggersnella shipping(snapshot snapshot) sorgente e modifiche e trasferimento dei registrano Per Transactionshipping uso dei log e shipping(copia trasferimento delle transazionale) transazionidati modificati perdere Maggini, le cancellazioni Scarselli lo storico ma i dati solo non marcati sono Sistemi eliminati per basi di dati nella DW per non 14 Data load & refresh Data refresh

8 Componente di accesso Warehouse realizza modo efficiente server Data ai dati Data operazioni Export access mining operazioni interfaccia -joinfra tabelle, come facile roll ordinamenti, uso up, per drilldown gli downe analisti aggregazioni datacube complesse - di analisi Componente (es. scoprire data mining Maggini, da un Scarselli DW di modo dipartimentale esportazione automatico dei regolaritànei ad Sistemi dativerso un per DW basi di di dati tutta altre datil azienda) DW 15 Costruire Si una DW aziendale completa è l obiettivo complesso dei vendite costruiscono dati aziendali dell analisi schemi (data data per mart) sottoinsiemi per i quali semplici èchiaro Warehouse operazioni di sportello server Data I secondo cube) dati Maggini, ) e realizzato uno data schema martsono multidimensionale(data rappresentati data Scarselliattraverso uno Sistemi schema per basi a stella Data marts di dati 16 Analisi con la DW I data mart

9 Il fatti modello concetto multidimensionaleècostituito da analizzare (es. la vendita da di un prodotto) Le misure dimensioni una prospettiva proprieta atomica sono lungo organizzate la di quale un fatto in si livelli analizza (es. il di numero aggregazione il fatto delle (es. il vendite, negozio, l incasso) il mese) luogoprovincia regione Maggini, Scarselli negozio citta categoria prodotto anno articolomarca trimestre Sistemi per basi di dati giorno mesetempo 17 Data con le istanze cube del celle fatto gli assi contengono delle si dimensioni indicano la misura le Quantità(Luogo,Categoria,Periodo) (Luogo,Categoria,Periodo)Luogo Milano Quantità Roma Gennaio FebbraioAprileMaggio Maggini, Scarselli Sistemi C Firenze Frullatori ategoria Siena Proiettori per basi TelevisoriRadio di dati Periodo 18 Il modello multidimensionale Data cube

10 Selezione di una vista (slice-and-dice Quantità dice) Luogo Maggini, C ategoria Scarselli Period LuogoCategoria Gennaio Sistemi per basi di dati Gennaio 19 Aggregazione (roll-up) dei dati lungo una dimensione salendo nella gerarchia Luogo Milano Roma Gennaio FebbraioAprileMaggio C Firenze Frullatori ategoria Siena Luogo Roma Milano I trimii trim Proiettori Maggini, TelevisoriRadio Scarselli Periodo Sistemi per basi di C Firenze Frullatori dati ategoria Siena Proiettori TelevisoriRadio Periodo20 Data cube: operazioni Data cube: operazioni II

11 Al affinche sia dimensione limitel operazione prescelta applicabile, di roll-upelimina occorre che la una misura dimensione sia additivalungo la L operazione quantita e scorte incasso sono additive rispetto al periodo i non èadditiva rispetto al periodo èl oppostodi verso dati sono il basso di disaggregati drill-down Maggini, Scarselliroll-up della gerarchia e resi piu dettagliati muovendo una dimensione Sistemi per basi di dati 21 Data cube: operazioni III