High Performance IT Insights Costruire l infrastruttura Big Data
2
Da anni le aziende stanno affrontando la sfida posta dalla sempre crescente mole di dati che devono essere catturati, archiviati e utilizzati ai fini di business. L ulteriore sfida è posta dalla natura stessa di questi dati che sta cambiando, arricchendosi sempre più di dati di provenienza varia; social media, sensori, stream di dati audio e video rappresentano alcuni esempi di queste nuove fonti di informazioni. I dati non strutturati costituiscono ora una parte molto consistente della totalità delle informazioni disponibili e le aziende stanno rapidamente valutando tecnologie che permettano di analizzarli per ottenerne un vantaggio competitivo. (Vedere figura 1.) Per molti, i dati non strutturati rappresentano una potente risorsa ancora tutta da sfruttare, una risorsa capace di fornire una conoscenza più approfondita su clienti ed operazioni che può quindi trasformarsi in un vantaggio competitivo. Ma questi dati non possono essere facilmente gestiti con database relazionali tradizionali o con strumenti di business intelligence, concepiti per gestire dati strutturati. Il problema viene ulteriormente complicato dalla rapidità con cui crescono volume e velocità dei dati strutturati e non strutturati. L insieme di questi elementi ha portato allo sviluppo di nuovi modelli di elaborazione distribuita - noti come Big Data - e di tecnologie analitiche quali Hadoop, NoSQL e altre adatte a gestire i dati non strutturati nella loro forma originaria. Le tecnologie di gestione dei Big Data hanno permesso alle aziende di studiare soluzioni per diventare più efficienti, ridurre il TCO (Total Cost of Ownership) e migliorare la flessibilità dell infrastruttura IT di supporto. La crescita costante dei dati ha costretto le aziende a cercare modi nuovi per acquisire, organizzare, gestire e analizzare questi dati. L avvento dei Big Data sta producendo un carico di lavoro nuovo e senza precedenti per i data center. La gestione di un tale carico di lavoro richiederà un infrastruttura a sé e ben distinta, e l IT dovrà trovare un modo per gestire contemporaneamente la vecchia e la nuova infrastruttura, arrivando poi a farle convergere. Figura 1 D. La vostra organizzazione utilizza o ha intenzione di utilizzare le seguenti tecnologie? Database relazionale Search index Rules engines Database colonnare o orientato a colonne Memorizzazione documentale Motori di elaborazione di eventi complessi Database in-memory Appliance di data warehouse che combina software e hardware preconfigurato in una singola unità Aree di memorizzazione di tipo chiave/valore Hadoop Fonte: IDC and Computerworld BI and Analytics Survey Research Group IT Survey, 2012, n = 111 0 10 20 30 40 50 60 70 80 90 100 Già in uso da adottare entro 12 mesi Non in programma 3
Capire i costi L implementazione delle capacità di gestione dei Big Data può avere ripercussioni su molti aspetti dell infrastruttura IT. Prima di avviare un iniziativa in quest ambito, un azienda deve essere certa di avere le idee chiare sui costi totali che essa comporta. A questo scopo, deve prendere in considerazione vari fattori, quali: Costo dell hardware, inclusi server, risorse di storage e networking. Costo del software, inclusi software di gestione dei Big Data (come Hadoop e il suo ecosistema) e connettori necessari per l integrazione con i database tradizionali e i tool di business intelligence. Costi di implementazione, per esempio per ricerca, progettazione e pianificazione, installazione e configurazione, integrazione con le applicazioni di business intelligence esistenti; sviluppo e testing postinstallazione. Costo del rischio e dei problemi di qualità dovuto alla complessità delle implementazioni di gestione dei Big Data: tale complessità causa infatti problematiche che possono rallentare il processo e richiedere costose rielaborazioni. Costi di opportunità IT mancate: il tempo dedicato all installazione e all integrazione dei Big Data viene infatti sottratto al tempo che l IT può dedicare ad altre attività che potrebbero aggiungere valore al business. Costo di eventuale ritardo dei benefici attesi dal business, dovuti al fatto che l incremento della produttività previsto e l acquisizione di una più profonda conoscenza del mercato non possono essere realizzati finché l implementazione non è completa. Capire la piattaforma di Big Data I benefici derivanti dalla capacità di sfruttare i Big Data sono evidenti e considerevoli. Ma evidenti e considerevoli sono anche le sfide che i Big Data rappresentano per il data center. Gli addetti all infrastruttura IT dovranno gestire non solo gli enormi volumi di dati, ma anche la complessità delle varie tipologie e la sempre maggiore velocità con cui quei dati devono muoversi. Inoltre, non tutte queste informazioni hanno un valore di business, di conseguenza l IT deve supportare i data scientists nel setacciare queste enormi masse di dati per trovare il cosiddetto ago nel pagliaio, ossia le informazioni utili per aumentare il patrimonio informativo ai fini di business. Nel complesso i Big Data richiederanno un infrastruttura per archiviare, spostare e combinare i dati con maggiore velocità e più agilmente - e le infrastrutture IT tradizionali semplicemente non sono progettate per soddisfare questa esigenza. Naturalmente, tecnicamente è possibile convertire i dati non strutturati in una forma strutturata e poi utilizzare sistemi di gestione di database relazionali per manipolarli. Il processo di conversione, tuttavia, richiede una considerevole quantità di tempo, incrementando i costi e ritardando il raggiungimento del risultato finale. In generale, il problema non è tanto tecnologico quanto finanziario: l utilizzo dell infrastruttura tradizionale per gestire i Big Data semplicemente non è un opzione economicamente sostenibile. 4
È evidente che i Big Data necessiteranno di un approccio infrastrutturale ad hoc più efficiente in termini di costi e in molti casi quell approccio comporterà un cambiamento rispetto alle modalità del passato. Per molti anni i data center si sono focalizzati sulla virtualizzazione e il consolidamento, passando a soluzioni più contenute basate sulla riduzione del numero di server di fascia alta connessi a grandi aree di storage condivise. Accenture ritiene tuttavia che i Big Data in genere richiedano un approccio sostanzialmente opposto basato su un modello decentralizzato. In molte situazioni, la piattaforma più idonea per i Big Data sarà basata sulla presenza di tanti commodity server di dimensioni più piccole, anziché di piattaforme di classe enterprise. E le risorse di storage verranno gestite localmente, a livello di singolo server, anziché essere centralizzate e condivise (di certo, come vedremo più avanti, esistono anche casi in cui l approccio più appropriato sarà basato su sistemi ingegnerizzati per Big Data preconfezionati.) L approccio decentralizzato ai Big Data presenta numerosi vantaggi. Per esempio, garantisce flessibilità in termini di costi grazie alla potenzialità di rapida scalabilità orizzontale che consente di introdurre anche migliaia di server di fascia bassa, anziché dover effettuare un costoso aggiornamento di server enterprise e apparecchiature di storage. E per quanto riguarda la performance, il modello shared-nothing elimina la necessità di incanalare i dati attraverso un numero limitato di dischi condivisi, eliminando il rischio di potenziali colli di bottiglia che potrebbero incidere significativamente sulle performance in caso di ingenti quantità di dati da elaborare. Tutto ciò non vuol dire che questa piattaforma per i Big Data sostituirà l infrastruttura esistente o che eliminerà la necessità di virtualizzazione e consolidamento propria dell infrastruttura tradizionale. Nel considerare i Big Data e le piattaforme esistenti, non si deve pensare in termini disgiuntivi (o... o), bensì incrementali (e ). Per estrapolare valore di business dall intero patrimonio di dati, il team che gestisce l infrastruttura IT dovrà lavorare con entrambi i modelli infrastrutturali e far funzionare due piattaforme più o meno distinte, per poi sviluppare un architettura di dati che le comprenda entrambe. Sulla base di queste considerazioni, Accenture prevede un ribilanciamento del panorama dei database man mano che i data architect si convincono del fatto che i database relazionali non sono più il solo strumento a disposizione. Le architetture ibride mescoleranno soluzioni di gestione dei database vecchie e nuove, e i progressi realizzati nell ambito della nuova infrastruttura verranno applicati alla vecchia dandole rinnovato vigore. (Vedere figura 2.) In breve, le discussioni a venire sulle architetture di dati saranno focalizzate sul ribilanciamento, la coesistenza e l interazione fra le due infrastrutture. Figura 2: Verso l architettura di dati convergente Fonti di dati Analisi BI Advanced Analytics MPP Agile Data Marts Non strutturati Hive RDBMS Esterni ODS Data Ingestion HDFS Rack Node Disk CPU Map/Reduce Rack Node Disk CPU Compute/Storage HBase Rack Node Disk CPU Data Integration Real time Analytics engine App di interazione con il cliente Low-latency Systems: Cassandra/HBase Hadoop/HDFS Based 2011 Accenture. Tutti i diritti riservati. 5
6
Big Data e Data Center L avvento delle piattaforme per i Big Data avrà implicazioni importanti per il data center e gli esperti di infrastrutture dovranno affrontare una serie di nuove sfide. Per esempio, il data center dovrà gestire piattaforme per Big Data su larga scala, con centinaia o migliaia di nuovi cluster di server aggiunti progressivamente all infrastruttura. Inoltre il data center dovrà gestire l approvvigionamento e l organizzazione dei servizi per tutti questi nodi e integrare la suite di gestione dei Big Data con la suite di gestione tradizionale. La gestione dei Big Data genererà inoltre un maggiore assorbimento delle risorse dell infrastruttura di rete che dovrà supportare il trasferimento di set di dati di dimensioni anche di qualche terabyte. Perfino gli elementi di base dell infrastruttura fisica non saranno esenti dai cambiamenti in quanto l installazione di un gran numero di commodity server renderà necessario un adeguamento della rete di alimentazione elettrica e dell impianto di riscaldamento/ raffreddamento, oltre che il reperimento di spazio fisico per ospitare i server. Analogamente, l infrastruttura di storage dei Big Data dovrà avere una capacità di molti petabyte ed essere in grado di supportare, potenzialmente, miliardi di oggetti. E poiché i dati non strutturati rappresentano una risorsa di business sempre più preziosa, le aziende dovranno adottare delle misure adeguate per proteggerli e garantirne la disponibilità. Anche questo potrebbe richiedere nuove modalità di approccio, perché i volumi da gestire potrebbero avere dimensioni troppo grandi per poterne eseguire il backup o il ripristino con i metodi convenzionali. Le funzionalità di sicurezza delle tecnologie di gestione dei Big Data sono in continua evoluzione e le organizzazioni dovranno prendere in considerazione l implementazione di adeguate misure di controllo atte a garantire l integrità e a prevenire il furto dei dati. Anche la governance dell IT dovrà subire degli adattamenti per poter supportare i Big Data. Di norma, le aziende dovranno fare in modo che vengano predisposti processi di governance per qualunque attività, dalla gestione delle performance al riaddebito del servizio, dalla gestione delle problematiche al supporto service desk anche per la piattaforma Big Data. Infine, l IT dovrà determinare come integrare la piattaforma per i Big Data con il resto dell infrastruttura IT. Le aziende vorranno utilizzare sia dati strutturati che dati non strutturati, così che, insieme, essi possano fornire un quadro più completo del business e in modo che i Big Data possano essere interpretati nel contesto di altri dati in possesso dell azienda. Questa integrazione consentirà alle aziende di sfruttare data warehouse e strumenti analitici esistenti e permetterà ai decision maker l utilizzo in maniera diffusa dei Big Data a tutti i livelli dell organizzazione. 7
Pianificare l Infrastruttura L IT dovrà adottare un approccio globale e multidisciplinare per la creazione di una piattaforma Big Data. Il team responsabile dell infrastruttura IT dovrà collaborare con altri esperti IT che possano offrire il proprio punto di vista su tecniche analitiche, rischio e compliance, applicazioni di business e governance dell IT. La risultante di tutti questi punti di vista potrà essere utile per assicurarsi che i servizi del data center vengano riprogettati in modo adeguato per i volumi, la velocità e la complessità dei Big Data, e che vi sia un percorso da seguire per far convergere l architettura dei Big Data e quella tradizionale, senza mai perdere di vista gli aspetti economici. Come indica la ricerca di Accenture, l adozione di un approccio data-centrico non è mai stata così importante. È anche importante riconoscere che per la piattaforma di gestione dei Big Data non esiste un unico approccio che possa andar bene per tutti. Ogni azienda ha una storia a sé, e per questa ragione è estremamente importante che la pianificazione iniziale venga svolta con grande attenzione. Il team responsabile dell infrastruttura deve capire appieno l impatto che i Big Data avranno sul data center. Questo significa analizzare i requisiti di capacità, storage e networking del data center. Significa identificare le potenziali fonti di dati e fare una stima delle dimensioni dei set di dati che dovranno essere gestiti. Significa capire il carico di lavoro di tipo analitico in termini di volume e velocità, oltre che il carico di I/O e CPU. E significa determinare il livello di integrazione che occorrerà raggiungere fra la piattaforma di gestione dei Big Data e gli strumenti di business intelligence tradizionali. Come detto prima, probabilmente alcune aziende riterranno più adeguata l infrastruttura decentralizzata, basata su commodity hardware di tipo shared nothing. Ma in molti casi potrebbe avere più senso adottare altri approcci. Per esempio, potrebbe essere appropriato utilizzare la piattaforma di tipo commodity con risorse di storage condivise quando il carico di lavoro è limitato e se l eventuale degrado delle prestazioni dovuto a colli di bottiglia dello storage non costituisce motivo di grande preoccupazione. Questo potrebbe essere il caso delle aziende che hanno appena iniziato a esplorare il mondo dei Big Data e i carichi di lavoro sono quindi contenuti. (Vedere figura 3.) Figura 3: Schemi di soluzioni infrastrutturali Schemi di soluzioni Casi d'uso Dettagli Piattaforma di tipo commodity con risorse di storage locali Piattaforma di tipo commodity con risorse di storage condivise Big Data Appliance (Teradata, DCA, Oracle) Implementazione in cloud (single-tenant o multi-tenant) 1. Elevata flessibilità e forti esigenze di scalabilità orizzontale 2. Competenze di implementazione di Hadoop facilmente accessibili 3. Esigenze di sviluppo o di accesso a un'architettura di riferimento per l'implementazione di Hadoop 1. Implementazione medio-piccola 2. Competenze di implementazione di Hadoop facilmente accessibili 3. Esigenze di sviluppo o di accesso a un'architettura di riferimento per l'implementazione di Hadoop 1. Accelerazione del time to delivery 2. Stretta integrazione con piattaforme analitiche di BI (Oracle, Greenplum, Teradata) 1. Accelerazione del time to delivery 2. Problemi di capacità del data center 3. Desiderio di sperimentare con i Big Data 4. Utilizza già il cloud per l'infrastruttura 1. Server fisici di tipo commodity 2. Configurazione in POD comprendenti rack di commodity server 3. Risorse di storage collegate direttamente ~12x3TB per nodo 4. Backup e recovery per disaster recovery onsite 5. Automazione e organizzazione dell'infrastruttura 6. Pianificazione capacità del data center 1. Server virtuali che girano su hypervisor come VMWare ESXi 2. Configurazione in POD comprendenti nesxcluster con densità da n a 1 3. Risorse NAS condivise a scalabilità orizzontale 4. Condivisione delle risorse di storage può creare un potenziale collo di bottiglia 5. Backup e recovery onsite 6. Replica offsite per disaster recovery 7. Automazione e organizzazione dell'infrastruttura 8. Pianificazione capacità del data center 1. Aggregazione di computer, risorse di storage, componenti di rete e Big Data 2. Progettati per elevata disponibilità e fault tolerance 3. Gestione semplice e unificata 4. Strumenti di gestione Hadoop 5. Strumenti di gestione sistema 6. Supporto singolo 1. Difficile spostare i set di dati nel cloud all'inizio (e possibile interruzione del servizio) 2. Attenzione a sicurezza dei dati e privacy 3. Proprietà dei dati nel cloud 2011 Accenture. Tutti i diritti riservati. 8
In altri casi potrebbe essere opportuno optare per sistemi ingegnerizzati pacchettizzati, soprattutto se i tempi di realizzazione hanno un importanza fondamentale. Queste soluzioni possono comportare costi consistenti iniziali superiori rispetto ai cluster di commodity server, ma poiché riuniscono software e tecnologia, è possibile renderle operative molto più rapidamente e inoltre evitare le complessità (e i costi aggiuntivi) dell implementazione di Hadoop e del collegamento dell hardware, che possono essere rilevanti. L approccio della soluzione ingegnerizzata può essere utile anche nei casi in cui può agevolare l integrazione con l infrastruttura esistente. (Vedere Semplificazione dell implementazione dei Big Data.) Big Data Appliance di Oracle, per esempio, è in grado di semplificare tale integrazione per le aziende che utilizzano database e strumenti di business intelligence di Oracle per gestire i dati strutturati. Mantenere la Focalizzazione sul Business Se è vero che esistono molte differenze fra infrastruttura per i Big Data e infrastruttura tradizionale, è anche vero che esse sono accomunate da un aspetto fondamentale: la necessità di garantire che l IT supporti i risultati di business. Questo impone alle aziende di valutare attentamente e monitorare il TCO dell infrastruttura mentre si orientano verso le piattaforme di gestione dei Big Data. Al tempo stesso, esse devono guardare al di là dei costi e mirare ad acquisire capacità infrastrutturali in grado di supportare agilità e crescita del business. La ricerca di Accenture mostra che le aziende ad alte performance tendono a porre l accento su una serie di fattori importanti, quali la formulazione di strategie operabili e adattive in un ambiente in divenire e il raggiungimento di vantaggio competitivo attraverso l innovazione continua. Le tecnologie di gestione dei Big Data rendono molto più flessibili nel movimentare più rapidamente i dati in modo da soddisfare le esigenze del business. L infrastruttura di supporto ai Big Data può essere fondamentale per rendere attuabili gli approcci di cui abbiamo parlato. A questo scopo, le aziende devono fare in modo che l infrastruttura permetta all IT di ottimizzare costantemente i costi delle attività operative, di potenziare o depotenziare le risorse in base alle esigenze del business e di dare dimostrazione all azienda del valore creato. Per realizzare un infrastruttura Big Data, che sia di successo sia per il Business che per l IT, occorre un approccio ben pianificato all infrastruttura di supporto. I modelli di elaborazione stanno verosimilmente cambiando con l avvento dei Big Data, ma le aspettative dell azienda nei confronti dell IT, in qualità di abilitatore di efficienza e innovazione non cambieranno e questa sarà in definitiva la misura del successo della realizzazione di una infrastruttura Big Data. 9
Semplificare l Implementazione dei Big Data Un implementazione di Big Data, comprendente l integrazione di vari componenti infrastrutturali, può essere un compito complesso che richiede competenze specialistiche. Inoltre, a fronte della sempre maggiore rilevanza dei Big Data per le aziende, diventerà anche più importante che la relativa infrastruttura sia caratterizzata dal livello di performance, sicurezza e supporto proprio di altre soluzioni aziendali di importanza nevralgica. Tenendo presenti queste considerazioni, le aziende potrebbero valutare l ipotesi di orientarsi verso sistemi ingegnerizzati pacchettizzati che forniscono piattaforme per Big Data preconfezionate. Sostanzialmente, il valore potenziale di queste soluzioni ingegnerizzate si riassume in una riduzione dei tempi di installazione e configurazione e in una semplificazione della gestione ordinaria, fattori che possono avere un importanza vitale in determinate situazioni. Per esempio, l offerta di Oracle in questo ambito Oracle Big Data Appliance include 648 terabyte di storage disponibile e 216 CPU cores in un singolo rack, ottimizzato per Big Data. L appliance comprende una suite completa di software di gestione dei Big Data, quale Hadoop e NoSQL. (Vedere figura 4.) L intero pacchetto preconfigurato è progettato per fornire elevati livelli di performance, disponibilità e sicurezza necessari per i sistemi enterprise. Questo approccio può ridurre significativamente i tempi di implementazione. Per esempio, nel corso di una valutazione per un grande progetto di Big Data, Oracle ha valutato che per un sistema da 10 rack con 144 nodi, la sola installazione dell hardware avrebbe richiesto circa 1800 cavi e 1300 ore-uomo di lavoro. Con l appliance pacchettizzata, la stessa implementazione avrebbe richiesto appena 48 cavi e 38 oreuomo. Considerando il lungo periodo, l appliance Oracle offre un unico punto di supporto per hardware e software di gestione dei Big Data, riducendo la complessità legata all interazione con molteplici fornitori. Figura 4: Due Approcci: Creare un proprio Sistema Big Data versus Usare soluzione preconfigurata Oracle Creare un proprio modello Approccio Oracle Varietà dei dati Nessuno schema Schema File system distribuito Transazioni (key/value) DBMS (OLTP) Soluzioni Map/Reduce ETL DBMS Data Warehouse Advanced Analytics oppure Big Data Appliance Cloudera CDH 3 Cloudera Manager Big Data Connections NoSQL Database CE Oracle Exadata OTLP e DW Data mining e Oracle Semantics Spatial Oracle Exalytics Analisi alla velocità del pensiero Acquisizione Organizzazione Analisi Acquisizione Organizzazione Analisi Riproduzione autorizzata da Oracle Corporation. 10
La scelta di un appliance può inoltre facilitare l integrazione delle piattaforme Big Data con il resto dell infrastruttura. Molte aziende, per esempio, utilizzano database Oracle e Oracle Big Data Appliance offre speciali connettori software che permettono di integrare l appliance con i database Oracle, oltre che con la soluzione Oracle Exadata. (Vedere figura 5.) Oracle Big Data Appliance utilizza collegamenti InfiniBand ad alta velocità per connettersi con questi altri sistemi Oracle, permettendo alle aziende di creare un ambiente di elaborazione di altissimo profilo, anche in questo caso con il beneficio di un unico fornitore a supportare l intero ambiente. Nel complesso, questo approccio può consentire alle imprese di inserire i Big Data nell ecosistema analitico globale, aiutando a semplificare il processo di acquisizione, organizzazione e analisi di una vasta gamma di dati. Ogni azienda deve soppesare una serie di fattori, a partire dalle proprie esigenze, per determinare quale sia il giusto approccio in materia di Big Data. Ma con l evolversi degli strumenti e delle tecnologie di gestione dei Big Data, le soluzioni ingegnerizzate preconfezionate fornite dai vari vendor costituiranno probabilmente un alternativa interessante per molte di esse. Figura 5: Oracle Analytics, powered by Engineered Systems Fonti di dati Oracle Big Data Connectors Oracle Big Data Appliance Oracle Exadata Oracle Exalytics Stream Acquisizione Organizzazione Analisi e Visualizzazione Riproduzione autorizzata da Oracle Corporation. 11
Per ulteriori informazioni su come i Big Data possono aiutare la vostra organizzazione a raggiungere alte performance, potete contattare: Vincenzo Aloisio Accenture Analytics Lead for IGEM and Cross Industries vincenzo.aloisio@accenture.com Accenture Accenture è un azienda globale di consulenza direzionale, servizi tecnologici e outsourcing che conta circa 259 mila professionisti in oltre 120 paesi del mondo. Combinando un esperienza unica, competenze in tutti i settori di mercato e nelle funzioni di business e grazie ad un ampia attività di ricerca sulle aziende di maggior successo al mondo, Accenture collabora con i suoi clienti, aziende e pubbliche amministrazioni, per aiutarli a raggiungere alte performance. A livello globale, i ricavi netti per l anno fiscale 2012 (settembre 2011 agosto 2012) ammontano a 27,9 miliardi di dollari. In Italia è presente con circa 10.500 persone e nell anno fiscale 2012 ha registrato ricavi netti per 1 miliardo e 85 milioni di euro. www.accenture.it - www.accenture.com Copyright 2013 Accenture All rights reserved. Accenture, its logo, and High Performance Delivered are trademarks of Accenture. mc411