BigData Analysis le tre V Scenario Changelles Solution deployment Risultati Fasi successive Evoluzioni future

Транскрипт

1

2 BigData Analysis le tre V Scenario Changelles Solution deployment Risultati Fasi successive Evoluzioni future

3 BigData Analysis Velocità Volume Variabilità 3

4 Scenario Reale VMWare, Citrix Machine Pools Virtual Network Virtual Storage Strumenti OSS Networking Infrastructure Virtualization Infrastructure Distributed Storage Server Farm HPC Baseline software (Windows, Linux, Unix, Solaris) Middleware Applicationi / Servizi Strumenti OSS UPS Climatizzazione Antincendio Videosorveglianza OSS Procedure di manutenzione ed intervento Change Management Support System Soluzioni SAN Eterogenee Storage Aggregation Baseline software (SO, MPI) High performance network (infinyband) Strumenti OSS 4

5 Approccio iniziale Analisi dello scenario Target: IT Operation Manager Datacenter Tech Director Real-time IT Monitoring - Challenges: Difficoltà nell investigare problemi che interessano più sistemi Le investigazioni e gli interventi richiedono molto personale con skill dedicate Tempi di analisi/intervento sono molto lunghi Necessità di utilizzare strumenti eterogenei e verticali Lentezza nella produzione di dati di sintesi sullo stato dei sistemi, delle risorse e delle performance complessive (dati a supporto delle decisioni strategiche sull utilizzo del datacenter) Alcuni componenti integrati nel sistema datacenter sono ignorati -> errori non gestiti, mancata analisi causa-effetto 5

6 Il concetto di situation awareness Trovare risposta a domande complesse costruite da molte informazioni di base Quanto spazio è riservato ad un pool VMWare sulla SAN? Qual è lo stato di carico della nostra infrastruttura virtuale? Qual è il trend dei consumi energetici per la climatizzazione rispetto all impiego delle risorse? Qual è lo storico dell occupazione risorse della server farm dedicata al servizio X? SITUATION AWARENESS Quali servizi applicativi impegnano maggiormente l infrastruttura du rete e di virtualizzazione? Qual è la catena tecnologica interessata da questa anomalia? Qual è il trend di occupazione dello storage per l HPC? 6

7 Approccio iniziale Analisi dello scenario Enormi quantità di informazioni non-strutturate (dati macchina) Necessità di analizzare e correlare informazioni eterogenee Produzione di informazioni aggregate in tempi rapidi (in tempo reale) Velocità Volume Variabilità 7

8 Definizione della Situation : - Analisi delle challenges Assessment dello scenario - Selezione aree di interesse con criticità più elevata - Analisi e definizione delle domande da porre -Studio della qualità delle fonti informative (struttura e modalità di accesso); - Studio delle analisi sui dati (correlazioni, aggregazioni, transazioni) - Definizione as-is e to-be sulle fonti informative (gap analysis) - Simulazioni preliminari (offline e online) 8

9 Solution Development Analisi delle fonti macchina Analisi e definizione dei grafici, cruscotti realtime e storici Index Data Analisi e definizione delle correlazioni tra i dati Report & Analyze Search & Investigate Costruzione soglie, allarmi su dati aggregati Monitor & Alert Add Knowledge Accesso a fonti informative esterne (arricchimento) 9

10 La proposta tecnologica 10

11 Deployment Fasi soluzione Fase I Fase II Storage Server farm Virtual Infrastructure Network Infrastructure (in corso) Fase III Servizi applicativi/middleware (in corso) Fase IV HPC (futuro) Fase V Altri sistemi datacenter (futuro) 11

12 Risultati Abbattimento tempi di intervento e gestione sistema storage (pianificazione acquisiti, controllo stato, manutenzione) Eliminazione tempi di lavorazione produzione report aggregati stato Server Farm Abbattimento tempi di decisione allocazione risorse per servizi a supporto del business Miglioramento procedure di trouble-shooting infrastruttura VMWare legate a cause trasversali (storage, hardware, vnetwork) 12

13 Risultati Nascita della Situation Awareness del Datacenter: Server Farm Infrastruttura virtualizzazione Resource inventory (macchine, servizi, infrastruttura virtualizzazione, storage, etc) Formazione della consapevolezza sui dati -> nuove domande, nuovi stackeholder 13

14 Esempi di informazioni mappa situazione VM 14

15 Esempi di informazioni Datastore 15

16 Esempi di informazioni Server Farm 16

17 Esempi di informazioni -KPI 17

18 Esempi di informazioni Transazioni / Risorse 18

19 Esempi di informazioni Aggregated CPU Time 19

20 Le domande future Quali sono i KPI per le attività MAC sui sistemi? Qual è il trend dei consumi energetici per la climatizzazione rispetto all impiego delle risorse? Quali servizi erogati agli utenti impegnano maggiormente le nostre risorse? SITUATION AWARENESS Visualizzare gli SLA dei servizi applicativi correlati ai servizi Business Quali sono i trend futuri di occupazione delle risorse di rete? Quali sono le transazioni che impegnano maggiornamente l infrastruttura? Qual è il trend di occupazione dello storage per l HPC? 20

21 Solo IT monitoring? Analisi in tempo reale dei sistemi di sicurezza Oil Facility Location/Communication Intelligence Real-time social sources analysis Complex data-analysis (immagini, documenti, foto, machine data) 21

22 Centro Direzionale di Napoli Isola E7 Via G. Porzio, Napoli [email protected] web: GRAZIE Sede di Roma Via Taranto, Roma Sede di Milano Viale Berengario, Milano Produzione e SW Factory Viale Traversa degli Ulivi, 4 San Sebastiano al Vesuvio (Na)