Cloudian, Object Storage per le infrastrutture di prossima generazione

Transcript

1 Cloudian, Object Storage per le infrastrutture di prossima generazione Preparato per: Cloudian Agosto 2014

2 TABLE OF CONTENTS TABLE OF CONTENTS 1 EXECUTIVE SUMMARY 2 INTRODUZIONE 4 Le sfide 4 Il TCO e il TCA TCA 5 COSA PUÒ FARE L OBJECT STORAGE PER TE 7 Quando ha senso l Object Storage 7 Dove ha senso l Object Storage 8 Amazon S3, Lo standard di fatto 9 Cos è S3 9 S3 per l enterprise Object Storage 10 COME CLOUDIAN IMPLEMENTA L OBJECT STORAGE 12 Una breve descrizione dell azienda 12 Uno sguardo all architettura 12 Cluster nodes 13 La tecnologia Cloudian Hyperstore 13 Multi-tenancy e QoS 14 Management console integrata 14 Cloud e integrazioni terze parti 15 Perché è importante? 15 NOTA FINALE 17 JUKU 18 Why Juku 18 Author 18 1

3 EXECUTIVE SUMMARY Le infrastrutture di storage tradizionali non sono pensate per far fronte alle nuove esigenze di business che si sono venute a creare a causa dell aumento di dati non strutturati; una quantità di dati che rischia quindi di compromettere l agilità e la competitività delle aziende moderne. Non si tratta soltanto di crescita dei dati. In realtà, le applicazioni come Big Data Analytics, le applicazioni mobile, il sync and share, e i servizi cloud-like, solo per citarne alcuni, lavorano su un set di dati più ampio ed in espansione, ma anche in modo diverso rispetto alle applicazioni di legacy. Una conservazione a lungo termine, una migliore disponibilità, un costo di accesso più basso, la multi-tenancy, i modelli di accesso geograficamente distribuiti e il nuovo processo di provisioning/deprovisioning delle risorse, così come una riduzione generale dei costi dovrebbero essere considerati dei punti chiave delle moderne infrastrutture di storage. Ad un livello superiore, il cloud computing si sta sempre più affermando come uno standard nella realizzazione di infrastrutture di nuova generazione, e oltre a quanto accade nel cloud pubblico, l Object Storage è il compagno ideale anche per il cloud privato. Prendiamo Amazon AWS per esempio, il Simple Storage Service (S3) è uno dei suoi prodotti di maggior successo. I moderni sistemi di Object Storage possono essere considerati come una piattaforma globale in grado di fornire soluzioni di storage sicure, disponibili ed affidabili per moltissimi servizi di fascia alta. I servizi che vanno dal supporto delle infrastrutture (ad esempio i backup e i repository per l archiviazione) al backend per i moderni servizi mobili sono in grado di migliorare l esperienza e la produttività dell utente finale (ad esempio il sync&share). Cloudian Hyperstore è un cloud storage di classe enterprise valido per installazioni di tipo pubblico, privato o ibrido e offre una piattaforma ricca di funzionalità che può essere implementata su hardware commodity x86. Dotata di una scalabilità illimitata, totalmente 2

4 compatibile con l S3 API, e con le funzionalità auto-tiering, l Hyperstore di Cloudian fornisce alle aziende un controllo totale, garantendo nel contempo che i dati possano muoversi senza problemi tra i cloud pubblici e privati. 3

5 INTRODUZIONE Le sfide Ci stiamo ormai abituando a quella che sta diventando una esponenziale crescita dei dati. Tuttavia, il problema non è la memorizzazione dei dati bensì la loro gestione e soprattutto il come poter trarre vantaggio da questo. Fornire interfacce di accesso distribuite forti e sicure (accesso da ogni luogo e da qualsiasi dispositivo), Costruire servizi di prossima generazione, Implementare repository di analisi dei Big Data, Gestire delle politiche di retention a lungo termine, Conformità a le leggi e i regolamenti, Evitare le violazioni sulla sicurezza e sulla perdita dei dati, Garantire una disponibilità e una conservazione dei dati ad altissima disponibilità (che significa anche il backup e il disaster recovery). Questi sono solo esempi di ciò che si intende oggi con gestione dei dati, e di fronte a queste sfide con i tradizionali sistemi di storage, soprattutto su grande scala, ci si rende conto che semplicemente non sono più adottabili ad un costo ragionevole ed impiegando la giusta quantità di risorse umane.. Infatti, le tradizionali architetture di storage sono limitate a livello di scalabilità, di capacità di automazione ed elasticità quando si tratta di grandi infrastrutture distribuite. Dall altra parte, il cloud storage object-based potrebbe essere considerato come una risposta, mentre la scelta fra implementazioni pubbliche e private dipende strettamente dalle singole esigenze aziendali. 4

6 Il TCO e il TCA TCA Il Total Cost of Ownership (TCO) e il Costo di acquisto (Total Cost of Acquisition TCA) sono due importanti fattori chiave quando si parla di infrastrutture di storage, soprattutto quando i numeri crescono velocemente. Attualmente, il costo della maggior parte dei sistemi di storage tradizionali viene misurata in $/GB. Questo tipo di costo è troppo alto quando si devono memorizzare centinaia di Terabyte o Petabyte di dati, soprattutto se non sono frequentemente acceduti. D altra parte, le infrastrutture di storage basate su nastro promettono costi che vengono misurati in ȼ/gb ma hanno una flessibilità ed una velocità molto scarsa quando si tratta di dover recuperare i singoli elementi. Da un lato abbiamo DB, ERP, applicazioni server e altro, mentre dall altra parte troviamo tutti questi tipi di servizi e applicazioni che si basano su dati non strutturati: file server, archiviazione, mail server, contenuti web, sistemi di content manager, di backup. Anche alcune applicazioni di business come Big Data o il tradizionale Data Warehouse possono sfruttare storage di secondo livello (per esempio enormi blocchi di dati, che di solito vengono letti in sequenza, non hanno bisogno di molti IOPS, e la velocità di trasferimento è il parametro più importante) per poi eseguire carichi di lavoro in un ambiente virtualizzato ad alta velocità. In molti casi il concetto di storage unificato, così come lo conosciamo oggi, non sarà più applicabile: con il tempo avrete bisogno di uno storage più specializzato per risolvere entrambi i problemi: uno di velocità ed uno di spazio. I sistemi Object Storage moderni mostrano il giusto compromesso: i costi possono essere molto inferiori rispetto agli altri tipi di storage, ma senza rinunciare alle caratteristiche e alle funzionalità. Per esempio, la maggior parte dei sistemi di Object Storage può essere fortemente automatizzato attraverso politiche gestione per Features Agility object storage Cost 5

7 la retention e la protezione dei dati, liberando gli amministratori di sistema dallo svolgimento di attività ripetitive. Questo li rende molto agili e flessibili, con le giuste caratteristiche per essere la base delle successive generazioni di piattaforme di storage per qualsiasi tipo di azienda. 6

8 COSA PUÒ FARE L OBJECT STORAGE PER TE L Object Storage è una tecnologia incredibilmente flessibile e, se pensata come un elemento per lo sviluppo di una infrastrutture di nuova generazione, può essere la soluzione per diversi tipi di problemi, che vanno dal consolidamento dei servizi di legacy al back-end per applicazioni web e mobili. Quando ha senso l Object Storage Ci sono diversi casi di utilizzo dell Object Storage. Infatti, l Object Storage, solitamente accessibile tramite RESTful API su HTTP, così come attraverso i file tradizionali o le interfacce di blocco attraverso i gateway di protocollo, può essere sfruttato in molti scenari diversi: Nei servizi sync&share di nuova generazione per l impresa distribuita e per i lavoratori che operano su dispositivi mobili. In grandi repository economicamente convenienti. per i Big Data, sicuri ed In repository per i Backup, sicuri ed economicamente convenienti. Nelle soluzioni di active archiving e nella gestione dei contenuti. N e l c o n s o l i d a m e n t o N A S e n e l l a centralizzazione dei dati dell ufficio remoto (ROBO). Si può pensare all Object Storage come ad una moderna piattaforma orizzontale per gestire molti tipi di dati non strutturati, senza i limiti e i vincoli dello storage tradizionale. Per supportare le implementazioni di cloud privati ed ibridi. Questi sono solo alcuni esempi, ma dovrebbero dare una piccola idea della vasta gamma di possibilità che offre questa tecnologia. La maggior parte dei vendor software sta 7

9 implementando delle API Object Storage all interno dei propri prodotti (Amazon S3, Swift CDMI) e l API S3 è diventata l opzione standard nella maggior parte dei casi. Attraverso l adozione dell Object Storage è possibile ridurre i costi e allo stesso tempo migliorare i servizi in termini di disponibilità ed elasticità. Dove ha senso l Object Storage Dal punto di vista dell infrastruttura l Object Storage, pubblico o privato, mostra i suoi vantaggi quando l azienda ha una importante quantità di dati da gestire e intende indirizzarsi verso un TCO inferiore e disponendo nel contempo di una migliore disponibilità ed elasticità complessiva dei dati dei dati dell infrastruttura. L Object Storage mostra il suo valore quando la scalabilità, l accessibilità in ogni luogo, l elasticità e la disponibilità sono in cima alla lista dei requisiti. Il costo è un altro fattore chiave (come in ogni situazione), ma in questo caso, per piccole quantità di dati, il cloud pubblico potrebbe essere molto più conveniente rispetto alle implementazioni private. Con l ultima generazione di alcuni prodotti di object storage è possibile costruire infrastrutture ibride: per esempio, potrebbe essere possibile costruire un sito locale primario ed utilizzare il cloud pubblico per il tiering o la replica. Questo ha un grande impatto sui costi di progettazione dell architettura e sull implementazione, consentendo alle aziende di medie dimensioni di trarre pieno vantaggio dall Object Storage senza i costi e l infrastruttura di base di un architettura completamente ridondante (per esempio con Data Center multipli). NFS# S3# ON'PREMISES#S3# AMAZON#S3#CLOUD# 8

10 AMAZON S3, LO STANDARD DI FATTO Al momento, Amazon, con il suo AWS (Amazon Web Services), è ampiamente considerato il service provider di cloud pubblico più grande e di maggior successo. Il Simple Storage Service, S3, è uno dei suoi prodotti più adottati e più maturi, ed è ampiamente considerato come uno standard di fatto per le moderne implementazioni di cloud storage pubblico, in particolare per le applicazioni web. Cos è S3 Amazon S3 è un servizio di storage online altamente distribuito, accessibile principalmente attraverso un interfaccia REST. Il servizio è stato lanciato negli Stati Uniti nel marzo 2006 e in Europa l anno successivo. Da allora l S3 è stato adottato da molti sviluppatori ed ora è una componente fondamentale di molti servizi cloud di successo, come per esempio, Dropbox. Amazon S3 ha dichiarato di memorizzare più di 2 trilioni di oggetti da Aprile Anche se Amazon non rivela l architettura S3, viene dichiarata una durabilità del 99, %, con il 99,99% di disponibilità ed un design che garantisce altissima scalabilità, una latenza relativamente bassa ed un costo basso. I dati vengono cifrati durante il transito e quando salvati. L S3 è in grado di memorizzare file fino a 5TB, insieme ai loro metadati, in entità definite bucket. Ogni bucket è di proprietà di un singolo account e ogni utente ha una singola chiave assegnata. Un bucket può essere configurato anche con gli ACL (liste di controllo degli accessi) e gli oggetti sono indirizzabili tramite l interfaccia REST così come attraverso i semplici comandi HTTP GET (o BitTorrent). S3 è di fatto uno standard ampiamente adottato nel cloud pubblico, ma la compatibilità con S3 è anche una richiesta comune quando l object storage viene implementato on-premises. 9

11 Le API S3 non sono aperte e sono controllate da Amazon, ma sono molto ben documentate. Anche se lo SNIA (Storage Networking Industry Organization) ha sviluppato uno standard aperto (CDMI Cloud Data Management Interface), l API S3 è ancora, con un ampio margine, l API più adottata per l object storage sia per le implementazioni pubbliche che per quelle private. Attualmente esistono migliaia di applicazioni che sfruttano appieno le API S3, a partire da un ampia varietà di aziende e grandi imprese. Allo stesso tempo, quasi tutti i vendor di Object Storage dispongono di interfacce proprietarie che sono progettate per sfruttare al meglio le caratteristiche del loro prodotto, ma anche in questo caso, gli utenti e le terze parti chiedono sempre la compatibilità con S3 per evitare dei lock-in o per evitare il costo di sviluppo di specifiche implementazioni delle loro applicazioni. S3 per l enterprise Object Storage Come già accennato in precedenza, l S3 è uno standard di fatto ampiamente adottato nel cloud pubblico, ma la compatibilità con S3 è anche una richiesta molto comune quando l object storage è implementato in locale. Essere compatibili al 100% con S3 ha un enorme vantaggio per le aziende e infatti, molti credono che l API S3 dovrebbe agire come unico vero standard. Prima di tutto non ci sono lock-in sulle API proprietarie e le aziende possono utilizzare una qualsiasi delle centinaia di applicazioni disponibili attraverso l ecosistema S3 senza il faticoso processo di riscrittura o aggiungendo il supporto S3 alle applicazioni esistenti. In secondo luogo l utente finale ha la libertà di 10

12 scegliere cosa distribuire internamente e cosa distribuire esternamente; e quali servizi sono più adatti per il cloud privato o per quello pubblico. Con la compatibilità con S3 è anche più facile costruire vere architetture di cloud ibrido e, se fornite dal prodotto scelto, l implementazione del tiering automatizzato o di altri meccanismi faranno risparmiare denaro fornendo un servizio migliore. 11

13 COME CLOUDIAN IMPLEMENTA L OBJECT STORAGE Cloudian Inc. è un provider di piattaforme storage con sede nella Silicon Valley ed è focalizzato nella fornitura di soluzioni di cloud storage di livello enterprise pubbliche, private ed ibride. Una breve descrizione dell azienda Cloudian ha uffici negli Stati Uniti, in Giappone e in Cina con clienti ed installazioni anche in Europa. Il suo prodotto, Cloudian Hyperstore, è un object store compatibile con le API S3 che può essere utilizzato per costruire infrastrutture cloud private e pubbliche da parte di aziende e internet service provider. L azienda, nata nel 2001, è stata finanziata da investitori strategici come Goldman Sachs e Intel Capital, tra gli altri. Ha recentemente ricevuto un importante round di finanziamenti da Intel Capital, Fidelity e INCJ. Cloudian ha raccolto una lunga lista di partner tecnologici ed ha integrazioni con piattaforme cloud molto importanti che concorrono a creare un ecosistema completo di soluzioni per la gestione dei contenuti, dei servizi di file e delle infrastrutture di prossima generazione. Uno sguardo all architettura L HyperStore di Cloudian, grazie al suo design flessibile, può essere distribuito in differenti modi, che vanno da una singola istanza in una Virtual Machine (per scopi di test e di sviluppo) fino a topologie con più Data Center che sono in grado di garantire la 12

14 massima disponibilità ed elasticità. HyperStore è basato su una architettura scale-out distribuita, e come tale, ogni nodo del cluster contribuisce con le sue risorse alla quantità totale di spazio e alla performance. Cluster nodes I nodi dell HyperStore sono solitamente basati su server Linux x86 standard e sullo spazio dei dischi locali, mentre le VM possono essere considerate come un opzione per installazioni più piccole e per le attività di sviluppo. Differenti nodi del cluster possono essere mescolati insieme nello stesso cluster. I nodi de cluster, che sono organizzati in una topologia ad anello, eseguono una serie di servizi per la gestione dei dati, dei metadati e le attività di amministrazione. L anello può essere distribuito su più Data Center per l alta disponibilità e la capacità. Gli oggetti vengono replicati in maniera trasparente ed omogenea su diversi nodi, in funzione della politica di protezione prescelta. Possono anche essere logicamente replicati in siti remoti per fornire una protezione ancora migliore. Se si verifica un errore logico o fisico, il sistema controlla immediatamente quali oggetti sono coinvolti e vengono avviate le procedure necessarie per ripristinare la situazione ottimale. La tecnologia Cloudian Hyperstore Il software HyperStore di Cloudian, basato su un File System e su motore Cassandra N o S Q L D B, è i n g r a d o d i g e s t i re automaticamente piccoli e grandi file e allo stesso tempo sistemi di protezione diversi. 13

15 L utente finale ha la libertà di decidere se il sistema deve mantenere copie di oggetti multipli o se sfruttare l erasure coding per proteggerli. Quasi tutte le configurazioni sono molto granulari e possono essere applicate a livello di sistema, verso un singolo tenant o a livello del bucket. Multi-tenancy e QoS La QoS (Qualità del Servizio) sta diventando una delle caratteristiche più importanti delle moderne infrastrutture di storage. Ora, con molte differenti applicazioni e molti utenti che accedono contemporaneamente alla stessa piattaforma di base, è necessario fornire meccanismi di QoS per evitare contenziosi sulle risorse e l effetto vicini di casa rumorosi. L Hyperstore di Cloudian implementa politiche di QoS granulari che consentono di impostare diversi set di limiti per differenti tipi di risorse (regione, gruppo, utente, sistema) in termini di richieste/secondo, Byte e numero di oggetti trasferiti per unità di tempo, e così via. Un altro importante aspetto per quanto riguarda le funzionalità di multi-tenancy di questo prodotto è l utile set di funzionalità volte a fornire le funzionalità di chargeback e di showback. Management console integrata È disponibile per tutti i ruoli all interno dell azienda un interfaccia utente web-based facile da usare e che contribuisce a semplificare le operazioni di configurazione, monitoraggio e gestione. Questa interfaccia di gestione permette al prodotto di essere immediatamente distribuito ed utilizzato, poiché non vi è alcuna necessità di fare ulteriori integrazioni. Tutte le attività di amministrazione sono semplificate per garantire una facilità di utilizzo su larga scala. Le funzionalità automatiche come la gestione del lifecycle del nodo, o la sua manutenzione, sono gestite attraverso un set completo di strumenti che rientrano insieme al prodotto. 14

16 Cloud e integrazioni terze parti L HyperStore di Cloudian, grazie alla sua forte compatibilità con S3, può essere implementato in distribuzioni cloud ibride in cui un Object Store privato può essere unito ad altri servizi pubblici compatibili con l S3. Le funzionalità di tiering dell HyperStore permettono di scegliere di mantenere i dati critici (e i più usati) a livello locale onpremises, mentre il resto può essere spostato verso un cloud storage remoto (un cloud storage privato remoto, o un cloud storage S3 pubblico remoto). Questo particolare tipo di configurazione può essere utile in molti casi, soprattutto per le aziende di piccole e medie dimensioni, che potrebbero avere degli incrementi del business e che necessitano di grande scalabilità a costi inferiori. Inoltre, sono disponibili le integrazioni con la maggior parte delle piattaforme di gestione cloud come Citrix Cloud Platform (basato su apache CloudStack), Citrix Cloud Portal e OpenStack. L utente finale può facilmente configurare il prodotto da utilizzare in c o n g i u n z i o n e c o n q u e s t i C M P e d implementare lo StaaS (Storage as a Service) e tutti gli altri servizi di Object Storage. Allo stesso tempo, l HyperStore di Cloudian è certificato per lavorare con molti vendor terze parti per fornire soluzioni end-to-end per la sincronizzazione e la condivisione, il cloud NAS e altri servizi di generazione futura. Perché è importante? 15

17 L HyperStore di Cloudian è una soluzione di Object Storage compatibile con S3 ed altamente scalabile. E in grado di soddisfare le esigenze di aziende di piccole e grandi dimensioni. La flessibilità del prodotto ed il meccanismo delle licenze (il prezzo è su una base per-tb) permettono di iniziare con una piccola infrastruttura e crescere in funzione delle esigenze future, on-premises o nel cloud pubblico. Le caratteristiche di fruibilità e di elasticità sono fondamentali per la costruzione di un ambiente di cloud storage privato. La sua compatibilità con le più comuni piattaforme di gestione cloud permette la realizzazione di una infrastruttura cloud end-to-end privata o ibrida. 16

18 NOTA FINALE L Object Storage sta attirando molta attenzione da parte dei service provider e delle aziende. Se il successo di questa tecnologia è già consolidato per gli ISP (grazie, ad esempio, ai servizi come Amazon S3), per le aziende si tratta di una nuova tendenza emergente. Solitamente, la prima ragione per cui le aziende vengono attratte dall object storage è l economicità rispetto allo storage tradizionale, scoprendo in seguito le sue caratteristiche chiave: il fatto che è accessibile ovunque e da qualsiasi dispositivo; il fatto che può risiedere ovunque; il fatto che è scalabile senza interruzione; tutte queste caratteristiche lo rendono una soluzione molto attraente per un numero molto maggiore di potenziali applicazioni e opportunità. Sulla stessa lunghezza d onda c è il crescente panorama di soluzioni che sono in grado di trarre pieno vantaggio dall Object Storage: sta crescendo di giorno in giorno e deve essere considerato come un sinonimo di successo e di accettazione del mercato. Noi di Juku, crediamo fortemente nell Object Storage e pensiamo che le aziende dovrebbero iniziare a prendere in seria considerazione questo tipo di storage quando arriverà il momento di dover costruire un infrastruttura di nuova generazione. Infatti, l Object Storage, può essere considerata la soluzione ideale in tutti quei casi in cui i dati non devono essere molto vicini alla CPU (come, per esempio, DB o VM). Aziende di tutte le dimensioni che si affidano all Hyperstore di Cloudian per fornire un controllo sicuro e totale sui propri dati riducendo drasticamente i costi dell IT e i TCO. La tecnologia dell Hyperstore bilancia capacità e latenza, dando agli utenti la possibilità di impostare schemi multipli di protezione dei dati (replica e erasure coding) all interno dello stesso cluster. Combinato con la totale compatibilità dell API S3, la scalabilità illimitata, e le potenti funzionalità come i controlli QoS e l auto-tiering ibrido, l Hyperstore di Cloudian è una piattaforma di cloud storage molto interessante per le aziende. 17

19 JUKU Why Juku Jukus are Japanese specialized cram schools and our philosophy is the same. Not to replace the traditional information channels, but to help those who make decisions for their IT environments, to inform and discuss the technological side that we know better: IT infrastructure virtualization, cloud computing and storage. Unlike the past, today those who live in IT should look around themselves: things are changing rapidly and there is the need to stay informed, learn quickly and to support important decisions, but how? Through our support, our ideas, the result of our daily interaction that we have globally on the web and social networking with vendors, analysts, bloggers, journalists and consultants. But our work doesn t stop there, the comparison and the search is global, but the sharing and application of our ideas must be local and that is where our daily experience, with companies rooted in local areas, becomes essential to provide a sincere and helpful vision. That s why we have chosen: think global, act local as a payoff for Juku. Author Enrico Signoretti, consultant, trusted advisor and passionate blogger (not necessarily in that order). Having immersed into IT environments for over 20 years, his career began with Assembler in the second half of the 80 s before moving on to UNIX platforms (but always with the Mac at heart) until now when he joined the Cloudland. During these years his job has changed from deep technical roles to management and customer relationship management. In 2012 he founded Juku consulting SRL, a new consultancy and advisory firm highly focused on supporting end users, vendors and third parties in the development of their IT infrastructure strategies. He is constantly keeping an eye on how market evolves and continuously looking for new ideas and innovative solutions. You can find Enrico s social profiles here: All trademark names are property of their respective companies. Information contained in this publication has been obtained by sources Juku Consulting srl (Juku) considers to be reliable but is not warranted by Juku. This publication may contain opinions of Juku, which are subject to change from time to time. This publication is covered by Creative Commons License (CC BY 4.0): Licensees may cite, copy, distribute, display and perform the work and make derivative works based on this paper only if Enrico Signoretti and Juku consulting are credited. The information presented in this document is for informational purposes only and may contain technical inaccuracies, omissions and typographical errors. Juku consulting srl has a consulting relationship with Cloudian. This paper was commissioned by Cloudian. No employees at the firm hold any equity positions with Cloudian. Should you have any questions, please contact Juku consulting srl (info@juku.it