La soluzione Hadoop di livello enterprise di EMC. Di Julie Lockner, Senior Analyst e Terri McClure, Senior Analyst

Transcript

1 White paper La soluzione Hadoop di livello enterprise di EMC Isilon Scale-out NAS e Greenplum HD Di Julie Lockner, Senior Analyst e Terri McClure, Senior Analyst Febbraio 2012 Il presente white paper di ESG è stato commissionato da EMC Corporation ed è distribuito su licenza di ESG.

2 Sommario White paper - La soluzione Hadoop di livello enterprise di EMC: Isilon Scale-out NAS e Greenplum HD 2 Introduzione...3 Tendenze del mercato per le esigenze di analisi dei Big Data... 3 Utilizzo di Hadoop per l'analisi dei Big Data...4 Utilizzo di sistemi NAS scale-out per l'analisi dei Big Data...5 Per completare il pacchetto: Piattaforma consolidata EMC Isilon e Greenplum HD...7 Una verità più ampia...9 Tutti i marchi utilizzati appartengono ai rispettivi proprietari. Le informazioni contenute nella presente pubblicazione provengono da fonti che Enterprise Strategy Group (ESG) considera affidabili, ma che non garantisce. Questo documento può contenere opinioni espresse da ESG, soggette a possibili cambiamenti nel tempo. Pubblicazione protetta dal copyright di The Enterprise Strategy Group, Inc. La riproduzione o la distribuzione integrale o parziale della pubblicazione, in formato cartaceo, elettronico o altro, rivolta a persone non autorizzate e senza l'espresso consenso di The Enterprise Strategy Group, Inc., costituisce violazione della legge sul copyright vigente negli Stati Uniti ed è passibile di azione legale per il risarcimento dei danni e, se applicabile, di azione penale. Per ulteriori informazioni, rivolgersi ad ESG Client Relations al numero

3 Introduzione White paper - La soluzione Hadoop di livello enterprise di EMC: Isilon Scale-out NAS e Greenplum HD 3 Man mano che le organizzazioni concentrano i loro sforzi nello sfruttare appieno il valore delle risorse dati, si rendono conto che la raccolta di tali dati può essere un'arma a doppio taglio. In realtà, di fronte al problema della gestione di dati che crescono a una velocità quasi incredibile (Facebook da solo raccoglie più di 100 terabyte di dati ogni giorno) la maggior parte delle organizzazioni considera la gestione della crescita dei dati, il provisioning dello storage e la capacità di eseguire analisi rapide e affidabili dei "Big Data" come priorità principali. ESG definisce l'analisi dei Big Data come la procedura di analisi di interi dataset per volta, indipendente dal tipo di struttura dei dati, mediante una tecnologia creata appositamente per completare analisi dei dati, da semplici a complessi, in modo tempestivo, efficiente ed economico. In un recente survey di ESG condotto su più di 100 organizzazioni, ESG ha scoperto che queste organizzazioni, mentre lavorano freneticamente per tenersi al passo con la velocità della crescita dei dati, individuavano in modo coerente la gestione dei dati e lo storage dei dati come i problemi e gli ostacoli cruciali per lo sviluppo di capacità perfezionate di analisi dei dati all'interno delle stesse organizzazioni. A parte questo, malgrado aggiungano sicuramente valore intrinseco alla ricchezza di risorse delle relative organizzazioni, i Big Data mettono anche sotto forte stress le infrastrutture IT esistenti e molte aziende stanno cercando affannosamente il modo di sviluppare un'infrastruttura scalabile all'interno dei data center. Cosa cercano esattamente queste organizzazioni? Con le piattaforme tradizionali limitate in modo notevole nella capacità di supportare l'analisi dei Big Data, sempre più aziende stanno cercando nuove soluzioni per rispondere a questi problemi e arrivano alla conclusione che la loro soluzione deve essere una piattaforma scalabile e consolidata, in grado di supportare applicazioni per Big Data con un servizio di classe enterprise. La piattaforma MapReduce emergente, basata su più livelli su file system distribuito quali Hadoop e HDFS, è una delle soluzioni scelte più di recente dalle aziende per rispondere alle esigenze di analisi dei Big Data. Si tratta di una soluzione progettata in modo specifico per la scalabilità orizzontale, il che consente di mantenere livelli di prestazioni costanti man mano che i dataset da analizzare ed elaborare aumentano. Tendenze del mercato per le esigenze di analisi dei Big Data Secondo l'ultimo survey sulla gestione dei dati di ESG, più della metà (55%) delle organizzazioni che hanno risposto al sondaggio ha identificato una migliore flessibilità aziendale come il vantaggio principale atteso dall'implementazione di una nuova soluzione di analisi dei dati (vedere la Figura 1). 1 Subito dopo viene la capacità di eseguire un'analisi completa in tempi ridotti. Con l'esigenza di rapidità e flessibilità come fattori chiave nel processo di scelta, le organizzazioni cercano gli strumenti e la tecnologia in grado di supportarli nella crescita mentre combattono la loro battaglia nei confronti dei dati e le piattaforme di analisi basate su MapReduce e Apache sembrano essere i primi sul campo. In realtà, Apache Hadoop è passato rapidamente in testa come soluzione preferita per l'analisi dei Big Data per i dati non strutturati e l'elaborazione batch basata su Hadoop di dati strutturati e non strutturati a livelli massicci ha portato un cambiamento drastico nell'approccio all'analisi dei Big Data da parte delle organizzazioni. 1 Fonte: ESG Research Report, The Impact of Big Data on Data Analytics, Settembre 2011.

4 White paper - La soluzione Hadoop di livello enterprise di EMC: Isilon Scale-out NAS e Greenplum HD 4 Figura 1. Principali vantaggi attesi dell'implementazione di una nuova piattaforma di analisi Utilizzo di Hadoop per l'analisi dei Big Data Fonte: Enterprise Strategy Group, Per quale motivo sono così tante le organizzazioni che utilizzano Hadoop nei processi di analisi? Innanzitutto Hadoop offre alle organizzazioni la possibilità di archiviare e analizzare grandi volumi di dati indipendentemente dal fatto che i dati siano strutturati, non strutturati, relazionali o non relazionali. Hadoop agisce da complemento alle piattaforme di analisi dei dati tradizionali quali i database relazionali. Aumenta infatti la loro capacità di eseguire analisi SQL interattive su origini dati cui in precedenza era difficile o impossibile accedere, come pure procedere all'elaborazione a causa dei limiti imposti sulle piattaforme correnti. Hadoop unisce un framework MapReduce con Hadoop Distributed File System (HDFS) e supporta l'elaborazione dei dati e attività di analisi adatte sia per i dati relazionali che per i dati strutturati in modo non relazionale (ad es. dati basati su testo, file di registro, dati generati da computer o dettagli sul traffico web). Come per tutte le tecnologie emergenti, Hadoop ha ancora alcuni problemi insiti da risolvere. Ad esempio: La distribuzione Apache open source di Hadoop offre un single point of failure con l'uso di NameNode per la gestione dei metadati dei file archiviati nell'hdfs. Il NameNode è la parte centrale del file system HDFS. Conserva la struttura ad albero delle directory di tutti i file nel file system e serve da dispositivo di tracciamento che indica la posizione dei dati nel cluster. Le applicazioni client utilizzano il NameNode per cercare, aggiungere, copiare, spostare o eliminare un file. Il NameNode risponde a queste richieste presentando un elenco di server sui quali risiedono i dati. Tuttavia, in questo approccio è insito un preciso pericolo: in caso di errore o mancata disponibilità del NameNode, il file system diventa offline. Questa è l'area sulla quale si stanno concentrando gli sforzi della community open source di Hadoop, ma nel frattempo questo è un problema per molte organizzazioni che necessitano di un componente dotato di High Availability per la piattaforma di analisi dei Big Data.

5 White paper - La soluzione Hadoop di livello enterprise di EMC: Isilon Scale-out NAS e Greenplum HD 5 Hadoop attualmente manca di funzioni di protezione dei dati di classe enterprise. Gli sviluppatori devono impostare manualmente il parametro di replica dei dati per HDFS (l'impostazione predefinita è 3) per identificare il numero di copie che HDFS deve creare di ciascun file per la protezione dei dati, anziché utilizzare il RAID. La necessità di affidarsi agli sviluppatori per determinare il numero di copie da effettuare può portare a un uso decisamente inefficace dello storage. Hadoop richiede un investimento incrementale in personale con preparazione ed esperienza specifiche su Hadoop. Le implementazioni tradizionali di Hadoop non possono essere integrate facilmente nelle applicazioni aziendali esistenti. L'accesso ai dati avviene tramite i protocolli Hadoop e HDFS o tramite un'interfaccia SQL, il che richiede lo sviluppo di interfacce di programmazione. Hadoop richiede un investimento per la creazione di cluster di computer dedicati, il che produce spesso risorse di elaborazione o di storage isolate e uno scarso utilizzo delle risorse di storage o della CPU, a seconda di quanto necessario. In una comune architettura di riferimento Hadoop, il cluster di computer utilizza Direct Attached Storage (DAS) non facilmente condivisibile con altre applicazioni. Le organizzazioni devono implementare il cluster di computer Hadoop per i requisiti elevati di capacità di storage e di computer durante l'implementazione iniziale. In realtà, nel modello di storage DAS comune, le organizzazioni non possono modificare facilmente il rapporto computer-storage una volta implementato il cluster. Le organizzazioni che desiderano utilizzare Hadoop per diversi tipi di carico dovranno implementare più cluster Hadoop in base alle relative esigenze. Per le organizzazioni che desiderano un layout di storage multi-tier per ottimizzare il costo dei dati residenti in un cluster Hadoop, gli amministratori dovranno configurare manualmente i cluster e le cartelle HDFS da allineare ai tier e gli sviluppatori Hadoop dovranno sviluppare programmi che eseguano la migrazione dei dati tra i tier. Per le organizzazioni che necessitano di una strategia di protezione dei dati con un piano di disaster recovery (DR), gli sviluppatori dovranno coordinarsi con gli amministratori per integrazione di processi di backup a livello di HDFS. Per il DR, in genere gli sviluppatori scrivono set di dati su due cluster separati Hadoop situati nella stessa posizione. Questo può essere un problema per le organizzazioni che desiderano incorporare la protezione dei dati esistente e le policy di DR nei dati che risiedono in un cluster Hadoop. Sebbene valide in molte aree, le implementazioni di Hadoop in base a questi principi possono rappresentare dei seri problemi per i team IT già sommersi dal lavoro. Utilizzo di sistemi NAS scale-out per l'analisi dei Big Data I sistemi NAS (Network Attached Storage) sono scalabili orizzontalmente, semplici da installare e implementare, convenienti e affidabili e consentono di ridurre al minimo i tempi dedicati al supporto. I sistemi NAS scale-out sono più che adatti agli ambienti di analisi dei Big Data ESG definisce i Big Data in generale come basati su dataset che superano i limiti e le dimensioni delle normali funzionalità di elaborazione, spingendo verso un approccio di tipo non tradizionale. I sistemi NAS scale-out rappresentano l'approccio "non tradizionale" dal punto di vista dello storage in rete esterno. Sono stati progettati per offrire scalabilità oltre i limiti dei tradizionali sistemi scalabili verticalmente, conservando elevate prestazioni e availability man mano che il dataset cresce: una capacità che i sistemi di storage tradizionali non sono in grado di offrire. In realtà, quando si utilizza un sistema di storage in rete condiviso per il supporto dell'analisi dei Big Data, un'architettura scale-out è un requisito essenziale. I sistemi NAS scale-out offrono la massima semplicità per l'espansione della capacità e l'amministrazione. Una recente ricerca di ESG ha rivelato che l'86% delle organizzazioni "midmarket" e l'84% delle organizzazioni di livello enterprise utilizzano sistemi NAS per alcuni tier di storage. 2 Come illustrato nella Figura 2, la capacità dello storage NAS (45% della capacità totale di storage su disco degli intervistati) ha un peso maggiore rispetto allo storage SAN (Storage Area Network) (36%) e allo storage DAS (Direct Attached Storage) (31%). 3 I sistemi SAN trasferiscono i dati sulla rete sotto forma di blocchi di dischi, mentre i sistemi NAS trasferiscono i dati di file. I sistemi SAN e NAS sono collegati in rete, mentre i sistemi DAS sono dedicati al server ai quali sono collegati 2 Fonte: ESG Research Report, Scale-out Storage Market Trends, Dicembre Ibid.

6 White paper - La soluzione Hadoop di livello enterprise di EMC: Isilon Scale-out NAS e Greenplum HD 6 Figura 2. Capacità di storage di livello enterprise, in base al tipo di storage Fonte: Enterprise Strategy Group, I sistemi NAS scale-out possono essere scalati orizzontalmente sui nodi e hanno una potenza di elaborazione frontend ma offrono capacità back-end grazie all'aggiunta di nuovi processori o ai nodi di capacità. Le piattaforme di storage scale-out possono aumentare prestazioni, capacità o throughput grazie all'aggiunta di risorse (processori, memoria, interfacce host) come sistemi liberamente associati, composti di nodi che lavorano fianco a fianco, in parallelo. I sistemi NAS scale-out sono progettati per la scalabilità indipendente delle prestazioni e della capacità, per consentire all'utente di mantenere prestazioni elevate in ambienti caratterizzati da una rapida crescita dei dati che richiedono la gestione di file di dimensioni particolarmente elevate, senza le limitazioni di gestione e prestazioni associate ai sistemi di storage scale-up. I vantaggi comprendono migliori prestazioni, maggiore availability, utilizzo dello storage più elevato, gestione complessiva semplificata e necessità di un numero inferiore di amministratori (vedere la Figura 3). Gli elementi in comune tra Hadoop e i sistemi NAS scale-out offrono un'opportunità ovvia di convergenza in una soluzione in grado di assicurare alle organizzazioni la capacità di: Sfruttare le funzionalità di protezione dei dati aziendali quali snapshot, replica e backup con il modello di storage condiviso applicato ai processi di analisi di Hadoop Ottenere un più elevato utilizzo delle risorse di storage e di elaborazione Utilizzare al meglio le risorse di storage di Hadoop per altre operazioni relative ad applicazioni e data center

7 White paper - La soluzione Hadoop di livello enterprise di EMC: Isilon Scale-out NAS e Greenplum HD 7 Figura 3. Vantaggi ottenuti nelle implementazioni di storage scale-out Fonte: Enterprise Strategy Group, Per completare il pacchetto: Piattaforma consolidata EMC Isilon e Greenplum HD EMC, per rispondere alla crescente adozione di Hadoop da parte delle aziende, risponde alle esigenze del mercato di una piattaforma Hadoop in grado di offrire protezione dei dati aziendali e funzionalità di gestione su un'infrastruttura creata appositamente. EMC offre il supporto del protocollo HDFS per la piattaforma di storage NAS scale-out Isilon. Oltre al supporto del protocollo HDFS sulla piattaforma di storage Isilon di livello enterprise, la soluzione EMC comprende test e certificazione con la distribuzione di Greenplum di Apache Hadoop per offrire funzionalità di elaborazione dei dati archiviati in Isilon. EMC offre un modello di supporto dei vendor singolo per Hadoop mediante l'infrastruttura di storage NAS scale-out di Isilon, le funzionalità di analisi di Greenplum HD (incluso accesso parallelo ai dati del database Greenplum) e i servizi di assistenza, configurazione, formazione ed EMC Consulting. La piattaforma consolidata unisce il supporto dello storage nativo di EMC Isilon del protocollo HDFS integrato con il framework di analisi ed elaborazione dei dati di Greenplum HD. Le organizzazioni possono sfruttare i molteplici vantaggi offerti dalle implementazioni di Hadoop basate sull'architettura di riferimento DAS Direct Attached Storage.

8 White paper - La soluzione Hadoop di livello enterprise di EMC: Isilon Scale-out NAS e Greenplum HD 8 High Availability per supportare un'ampia gamma di use case: Il sistema operativo OneFS con High Availability di Isilon essenzialmente elimina il NameNode come single point of failure nel livello di storage HDFS di Hadoop. Poiché i metadati sono distribuiti nel cluster Isilon, ogni nodo Isilon agisce come NameNode. Questo espande gli use case indirizzabili per l'analisi dei Big Data per consentire il supporto di applicazioni business-critical e mission-critical che richiedono livelli più elevati di availability rispetto a quelli che una configurazione standard di Hadoop che utilizza DAS è in grado di offrire. Accesso ai dati e caricamento migliorati: Isilon OneFS supporta HDFS oltre a protocolli standard di settore quali NFS e CIFS, tra gli altri. Questo migliora il processo di staging e caricamento dei dati, altrimenti faticoso e ad uso intensivo di risorse, proprio delle implementazioni tradizionali di Apache Hadoop che utilizzano solo HDFS, ed elimina la necessità di più copie dei file. I Big Data delle organizzazioni vengono caricati sul livello di storage OneFS di Isilon mediante protocolli standard di settore quali NFS, CIFS, HTTP o FTP, ma le applicazioni Hadoop possono accedere direttamente ai dati via HDFS senza dover copiare o spostare l'origine dei dati in un file system diverso. OneFS gestisce quindi la protezione delle informazioni, eliminando la necessità per gli sviluppatori e gli amministratori di essere responsabili della corretta configurazione dei parametri relativi alle prestazioni e alla protezione. Facilità d'uso e di implementazione: Offrendo una piattaforma Hadoop integrata distribuita su piattaforma progettata appositamente, la soluzione Greenplum HD e Isilon sarà più rapida e semplice da implementare rispetto al processo di configurazione di software e hardware DIY richiesto per le implementazioni Hadoop tradizionali, che può essere costoso in termini di tempo e di risorse. Scalabilità ed efficienza: Lo storage Hadoop segmentato e la soluzione di elaborazione di EMC consentono un utilizzo di storage e CPU più elevato rispetto alle tradizionali implementazioni DAS di Hadoop consentendo alle aziende di scalare in modo indipendente prestazioni o capacità in base alle necessità e di creare storage pool separati che rispondono a diversi requisiti di prestazioni all'interno di un singolo sistema. Se le esigenze di analisi richiedono una configurazione più orientata all'elaborazione rispetto a una configurazione basata sulla capacità, è possibile soddisfare entrambe le esigenze attraverso l'implementazione combinata di Greenplum HD e Isilon OneFS. L'efficienza dello storage viene ulteriormente estesa grazie all'uso di Isilon e del tiering automatizzato basato su policy di SmartPool. Associando i requisiti di prestazioni e il valore dei dati con il tier di prestazioni appropriato dello storage (anziché lasciarlo tutto sul relativamente costoso storage primario in un modello DAS tradizionale), i costi risultano ridotti. Grazie alla facilità di implementazione dei sistemi NAS scale-out di Isilon, di questa facilità ad Hadoop elimina la necessità di sviluppare applicazioni mediante la programmazione di interfacce I/O per archiviare e analizzare volumi enormi di dati. Consente alle organizzazioni di implementare una piattaforma di storage NAS di classe enterprise in grado di scalare con i volumi, ma che è anche generica, in modo che le organizzazioni possano archiviare i dati una sola volta e supportare altri utenti aziendali e carichi di lavoro.

9 White paper - La soluzione Hadoop di livello enterprise di EMC: Isilon Scale-out NAS e Greenplum HD 9 Una verità più ampia Mentre Hadoop continua a evolversi, le organizzazioni stanno rapidamente scoprendo come può essere utilizzato per creare un vantaggio competitivo sostanziale utilizzando le sue funzionalità di accesso e mine dei Big Data. Tuttavia, insieme alla potenza e alle efficaci funzionalità, Hadoop presenta anche alcuni problemi normalmente riscontrati in tutte le nuove tecnologie in evoluzione. Le aziende cercano pertanto una piattaforma scalabile e consolidata in grado di supportare applicazioni Big Data con attributi di servizi di classe enterprise. Con la distribuzione di EMC della piattaforma di storage Isilon NAS scale-out e il supporto del protocollo HDFS, le organizzazioni dispongono ora di un'opzione che risponde ai problemi di Hadoop continuando a supportarne le intrinseche funzionalità. Ma questo è solo il primo passo. Il secondo passo è l'utilizzo del supporto HDFS per offrire una soluzione completamente integrata e testata. Basandosi sulle virtù di Hadoop, la soluzione Isilon e GreenPlum HD di EMC aggiunge le funzionalità per semplificare il caricamento dei dati e l'accesso utilizzando un'interfaccia NFS nativa, facilità di gestione end-to-end che comprende facile implementazione del cluster, rilevamento e notifica automatica degli errori, gestione su più siti e upgrade continui. Infine, con l'impegno a fornire un supporto completo dell'intero stack, EMC offre un modello di supporto dei vendor singolo per ciascun componente, incluso l'hardware: storage, elaborazione e rete, e software: Greenplum HD e database Greenplum per un'analisi completa dei dati. La soluzione Isilon e GreenPlum HD di EMC sembra destinata a diventare un'opzione vitale per le implementazioni basate su Hadoop di classe enterprise per tutte le organizzazioni che utilizzano i Big Data e desiderano implementare applicazioni di analisi dei Big Data per supportare un numero maggiore di processi di business mission-critical.

10 20 Asylum Street Milford, MA Tel: Fax: