Università degli Studi di Roma Tor Vergata Facoltà di Ingegneria Cloud Computing Corso di Sistemi Distribuiti Valeria Cardellini Anno accademico 2009/10 Problema Come dimensionare un sistema che supporta servizi che hanno le seguenti esigenze? Miliardi di richieste al giorno Crescita/decrescita del tasso di richieste pari al 100% all anno (e, in certi casi, differenti anche per un ordine di grandezza) Picchi di (milioni di) richieste stagionali (sport, Natale, ) Miliardi di Gigabyte da memorizzare SD - Valeria Cardellini, A.A. 2009/10 1
Alcune risposte (anche parziali) Utility computing On-demand computing Grid computing Autonomic computing Software as a Service (SaaS) Una vecchia idea: delivery di applicazioni su Internet Più recentemente XaaS, dove X=[Hardware, Infrastructure, Platform] HaaS: Hardware as a Service IaaS: Infrastructure as a Service PaaS: Platform as a Service Per alcuni: EaaS, dove E=Everything SD - Valeria Cardellini, A.A. 2009/10 2 Alcune risposte (2) Alcune definizioni meno recenti usate dalle aziende Pay-as-you-go (def. di Sun) Adaptive enterprise (def. di HP) E-business on demand (def. di IBM) Elastic computing cloud (def. di Amazon) Prima del Cloud computing Troppe definizioni (alcune sinonimi, altre con lievi differenze) Tipico di un periodo di transizione SD - Valeria Cardellini, A.A. 2009/10 3
Dalle 4 utility fondamentali Acqua Gas al calcolo come quinta utility Elettricità Telefono/Rete SD - Valeria Cardellini, A.A. 2009/10 4 Utility computing Utility computing: la potenza dei calcolatori e le applicazioni possono essere vendute secondo il modello economico dell utilità (utility) Adozione del modello economico del servizio Illusione di avere a disposizione risorse infinite Tariffazione di tipo pay-as-you-go e a grana fine (ad es. per ora) La vision computer utility non è una idea nuova 1961: John McCarthy If computers of the kind I have advocated become the computers of the future, then computing may someday be organized as a public utility just as the telephone system is a public utility... The computer utility could become the basis of a new and important industry. SD - Valeria Cardellini, A.A. 2009/10 5
Utility computing (2) 1969: Leonard Kleinrock, progetto ARPANET As of now, computer networks are still in their infancy, but as they grow up and become sophisticated, we will probably see the spread of computer utilities, which, like present electric and telephone utilities, will service individual homes and offices across the country. Alcune ridefinizioni di computer 1984: John Gage, Sun Microsystems The network is the computer 2008: David Patterson, Univ. Berkeley The data center is the computer. There are dramatic differences between of developing software for millions to use as a service versus distributing software for millions to run their PCs 2008: R. Buyya, Univ. Melbourne Cloud is the computer SD - Valeria Cardellini, A.A. 2009/10 6 Paradigmi di computing e attributi: realizzare la vision computer utility Fonte: R. Buyya, Market-Oriented Cloud Computing:, 2008. Un business di milioni? di milioni di! Web Data Center Utility Computing Service Computing Grid Computing + P2P Computing Cloud Computing! Accesso ubiquo! Affidabilità Paradigmi! Scalabilità! Comportamento autonomico! Scoperta dinamica! Composizione Attributi! Quality of Service (QoS)! Service Level Agreement (SLA)! SD - Valeria Cardellini, A.A. 2009/10 7
Popolarità dei vari paradigmi nel tempo Legenda: Cluster computing, Grid computing, Cloud computing, Distributed computing Infrastructure Cloud Computing, SYS-CON Media - Oct 28 2008 Cloud Computing Conference & Expo, SYS-CON Media - Jul 15 2009 Cloud Computing for Business Agility, SYS-CON Media - Sep 1 2009 Cloud Computing for Business Agility, SYS-CON Media - Oct 28 2009 Microsoft's cloud computing system is growing up, KHQ Right Now - Nov 17 2009 SD - Valeria Cardellini, A.A. 2009/10 8 Come si differenziano i vari paradigmi? Distributed Computing Loosely coupled Heterogeneous Single administration Cluster Computing Tightly coupled Homogeneous Single System Image Grid Computing Large scale Cross-organizational Geographical distribution Distributed management Cloud Computing Provisioned on demand Service guarantee VMs and Web 2.0-based SD - Valeria Cardellini, A.A. 2009/10 Fonte: R. Buyya 9
Grid computing Breve introduzione al Grid computing per comprendere meglio somiglianze e differenze con il Cloud computing Cosa è una Grid? A computational GRID is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational capabilities Tre criteri per definire una GRID: 1. Coordina risorse che non sono sottoposte a un controllo centralizzato 2. Usa protocolli, librerie e interfacce standard, aperte e general-purpose 3. Garantisce Quality of Service (QoS) Fonte: Ian Foster, What is the Grid? A Three Point Checklist, 2002. SD - Valeria Cardellini, A.A. 2009/10 10 Grid: : obiettivi e benefici Condividere in modo coordinato risorse all interno di un organizzazione virtuale dinamica e multi-istituzionale (Virtual Organization, VO) Cosa condividere? Risorse computazionali, dati, device e reti appartenenti a diverse organizzazioni ed in diverse locazioni La condivisione di risorse è ottenuta attraverso accessi diretti da parte degli utenti e gli accessi alle risorse vengono strettamente controllati Un gruppo di utenti o organizzazioni regolati da una politica di condivisione formano una VO Sfruttare risorse inutilizzate o sotto-utilizzate mediante l aggregazione dinamica di nodi e componenti applicativi sviluppati indipendentemente Bilanciare le risorse a livello dati (Data Grid) e/o di calcolo (Compute Grid) Virtualizzare le risorse tra aziende e organizzazioni Facilitare la collaborazione tra organizzazioni virtuali SD - Valeria Cardellini, A.A. 2009/10 11
Grid: virtual organization E costituita da: un insieme di individui o istituzioni un insieme di risorse da condividere un insieme di regole per la condivisione E una collezione di utenti che condividono regole per l accesso a risorse di calcolo e a dati distribuiti e perseguono obiettivi comuni Concetto chiave: l abilità di negoziare le modalità di condivisione delle risorse tra i componenti di una VO ed il successivo utilizzo per i propri scopi Le regole per la condivisione delle risorse specificano quando, dove e cosa può essere fatto Occorrono quindi: Politiche e meccanismi per formalizzare tali regole Autenticazione: stabilire l identità degli utenti Autorizzazione: determinare se una operazione è coerente con le regole di condivisione definite SD - Valeria Cardellini, A.A. 2009/10 12 Grid: : caratteristiche e applicazioni Distribuzione geografica dei dati e degli elementi computazionali Grandi quantità di dati da elaborare con enfasi sul fattore computazionale rispetto al fattore content generation and delivery Applicazioni prevalenti: data intensive o compute intensive Ma anche accesso remoto ad apparati di costo elevato: Condivisione di strumentazione Realizzazione di esperimenti complessi Condivisione di laboratori virtuali SD - Valeria Cardellini, A.A. 2009/10 13
Grid: applicazioni SD - Valeria Cardellini, A.A. 2009/10 Fonte: R. Buyya Grid: : applicazioni Bioinformatica Modellistica di proteine Progetto di nuove medicine, Medicina Riproduzione della fisiologia degli organismi Funzionamento del cervello (100 Petaflops) Modelli atmosferici-ecologici Inquinamento Surriscaladamento Fisica delle alte particelle (ricerca di eventi rari) Applicazioni aerospaziali Modelli finanziari SD - Valeria Cardellini, A.A. 2009/10 15
Grid: architettura a livelli Applications and Portals APPLICATIONS Scientific Engineering Collaboration Prob. Solving Env. Web enabled Apps Application Development and Deployment Environment Languages/Compilers Libraries Debuggers Monitors Web tools Security Information Resource Management and Scheduling: Distributed Resources Coupling Services Data Process SECURITY LAYER Local Resource Managers Trading Operating Systems Queuing Systems Libraries & App Kernels Internet Protocols USER LEVEL MIDDLEWARE CORE MIDDLEWARE QoS FABRIC Adaptive Management Autonomic/ Grid Economy Networked Resources across Organizations Computers Networks Storage Systems Data Sources Scientific Instruments SD - Valeria Cardellini, A.A. 2009/10 16 Globus Toolkit E un sistema open-source che si propone come lo standard de facto per il middleware per lo sviluppo di Grid Include servizi e librerie per monitoraggio delle risorse, scoperta e gestione di risorse, sicurezza e autenticazione, accesso remoto ai dati, gestione degli eseguibili Attualmente è orientato ai servizi (Grid service) glite Anche esso open-source, si propone come il middleware di nuova generazione per il Grid computing Grid: : middleware SD - Valeria Cardellini, A.A. 2009/10 17
Grid: : OGSA Convergenza tra Grid e Web service Service orientation per virtualizzare risorse Open Grid Service Architecture (OGSA) è un modello basato su servizi per virtualizzare risorse Grid e permettere l implementazione di applicazioni distribuite su Grid come collezioni e invocazioni di servizi OGSA definisce specifiche e convenzioni per: Indicare come un Grid service viene creato e scoperto Indicare come le istanze dei Grid service sono nominate e referenziate Le interfacce che definiscono un Grid service SD - Valeria Cardellini, A.A. 2009/10 18 Problemi del Grid Problemi di rete Banda e latenza non note a priori, dipendenti dal traffico e mutevoli nel tempo Banda e latenza disomogenee e latenza molto più grande rispetto a LAN Grado di connettività variante nel tempo (possibilità di guasto dei link) Possibile necessità di partizionamento e aggregazione delle macchine virtuali in modo dinamico Problemi di gestione Molteplici gestori Molteplici politiche di gestione non necessariamente compatibili tra loro Affidabilità dei nodi non nota a priori Problemi di sicurezza SD - Valeria Cardellini, A.A. 2009/10 19
Utility computing vs Grid computing Grid computing Utility computing Basato su reti eterogenee Basato su reti eterogenee Distribuito geograficamente Distribuito geograficamente Risorse eterogenee Risorse eterogenee Inter-organizzazioni: Politiche di gestione diverse Politiche e requisiti di sicurezza diversi Problemi di SLA Problemi di accounting e billing Intra-organizzazione: Stesse politiche di gestione Stesse politiche e requisiti di sicurezza Gestione di SLA in casa Nessun problema di accounting e billing SD - Valeria Cardellini, A.A. 2009/10 20 E il Cloud computing? Cosa si intende per cloud computing? In cosa differisce dagli altri paradigmi e in che direzione li estende? SD - Valeria Cardellini, A.A. 2009/10 21
Una miriade di termini V ir t u a li z a ti Q os P ub pe lic C P aa Storage Billing Hy Ia a S on VM rv is or Wa re s el ev t L n ic e e rv re e m e S g A our S ce M P r ic i e te r azo ne ng W in g eb S v er S ec u r it rp ri Sa ud le rc sfo G oo e m.c o M osso g le A pp E ng on S 3 e E nt lo se C s y Web 2.0 loud ic e Utility Computing Provision ing on D em a nd Privacy Private C C2 A m az lo u d R es Am SaaS in e SD - Valeria Cardellini, A.A. 2009/10 22 Cloud computing Cloud Cloud è il simbolo grafico generalmente usato per rappresentare Internet Computing Il termine Computing comprende: - Computazione - Logica di coordinazione - Storage Il Cloud computing riguarda lo spostamento del computing da un singolo PC/data center ad Internet SD - Valeria Cardellini, A.A. 2009/10 23
Alcune definizioni [Armbrust et al., 2009]: Cloud Computing refers to both the applications delivered as services over the Internet and the hardware and systems software in the datacenters that provide those services. The services themselves have long been referred to as Software as a Service (SaaS), so we use that term. The datacenter hardware and software is what we will call a Cloud. [Buyya et al., 2009]: A Cloud is a type of parallel and distributed system consisting of a collection of interconnected and virtualised computers that are dynamically provisioned and presented as one or more unified computing resources based on servicelevel agreements established through negotiation between the service provider and consumers. SD - Valeria Cardellini, A.A. 2009/10 24 Cloud computing: perché ora? Esperienza con data center di ampie dimensioni Economie di scala senza precedenti Altri fattori Diffusione di Internet a banda larga Virtualizzione x86 veloce Modello di tariffazione pay-as-you-go (prepagato, con tariffe predefinite per classi di servizio) Stack del software standard SD - Valeria Cardellini, A.A. 2009/10 25
Cloud computing: vantaggi per gli utenti Pay-per-use (pagamento in base all utilizzo) invece di dimensionare l infrastruttura sul picco di carico Svantaggio del sovra-dimensionamento: sottoutilizzazione dell infrastruttura SD - Valeria Cardellini, A.A. 2009/10 26 Cloud computing: vantaggi per gli utenti Forti penalità in caso di sotto-dimensionamento dell infrastruttura SD - Valeria Cardellini, A.A. 2009/10 27
Cloud computing: applicazioni Alcune opportunità offerte dal cloud computing per nuove applicazioni: Applicazioni web e mobili interattive Batch processing parallelo MapReduce e Hadoop Conviene spostare i dati nella cloud se vi è uno speedup nell analisi dei dati Estensioni di software desktop di tipo computingintensive Matlab, Mathematica SD - Valeria Cardellini, A.A. 2009/10 28 Aspetti caratterizzanti Basato su Internet L intero stack (hw & sw) è usato su Internet HaaS: ad es. Amazon S3 IaaS: ad es. VMWare, Amazon EC2 PaaS: ad es. Google AppEngine, Mosso SaaS: SalesForce Il computing diventa una vera utility usata da tutti Ricercatori Utenti finali Aziende Fornitori di servizi Gli aspetti economici assumono maggiore importanza (tariffazione, determinazione dei prezzi di vendita, QoS, SLA) Due differenze significative rispetto al Grid computing SD - Valeria Cardellini, A.A. 2009/10 29
Anatomia di una Cloud Social Networks Scientific Computing Financial Applications Private Cloud Amusement CDNs Google Apps (Gmail, Docs, ) Salesforce.com Web 2.0 Interface Programming API Scripting & Programming Languages Google AppEngine Microsoft Azure Force.com Virtualization VM Management & Deployment Software as a Service Platform as a Service Infrastructure as a Service Amazon S3, EC2 Public Cloud OpenNebula, Eucalyptus Other Mosso Grids/Clouds Clusters Data Centers SD - Valeria Cardellini, A.A. 2009/10 Storage 30 Pricing and Billing QoS Metering Accounting SLA Negotiation Admission Control Tipi di cloud Cloud pubblica L utente finale (cloud user) dei servizi erogati dalla cloud è di tipo pubblico e spesso localizzato su Web, accede alla cloud dietro sottoscrizione Cloud privata L utente finale dei servizi erogati dalla cloud è confinato all interno di un azienda o una qualsiasi organizzazione non aperta ad Internet Cloud enterprise Simile a cloud privata, ma l azienda o organizzazione ha dimensione più ampie SD - Valeria Cardellini, A.A. 2009/10 31
Cloud provider Molto eterogenei tra loro eccone alcuni Amazon IBM Google HP Microsoft Azure platform Akamai Technologies Akamai: We're a cloud provider, not a CDN Joyent (IaaS, PaaS) Rackspace Mosso (IaaS) Salesforce.com (piattaforma di sviluppo Force.com) SD - Valeria Cardellini, A.A. 2009/10 32 Amazon Simple Storage Service (Amazon S3) Data storage in-the-cloud altamente scalabile e accessibile anytime e anywhere tramite Web Accesso programmabile mediante Web service API Semplice da usare Disponibilità molto elevata Modello di costo pay-per-use: Storage: $0.15/GB al mese Data Transfer: da $0.17/GB Requests: costo nominale SD - Valeria Cardellini, A.A. 2009/10 33
Amazon Elastic Compute Cloud (Amazon EC2) Capacità computazionale auto-dimensionabile in the cloud Possibilità di ottenere nuove istanze di server in pochi minuti (sono istanze di server virtuali basate su Xen) Possibilità di scalare la capacità (up o down) a seconda dei cambiamenti nei requisiti computazionali Accesso completo (come root) a una macchina virtuale (blank) Linux Interfaccia di gestione mediante semplici Web service Modello di costo pay-per-use differenziato per classi di servizio e software di base, ad es.: Standard Linux: $0.095/ora High-memory Linux: $1.35/ora High-CPU Linux: $0.19/ora SD - Valeria Cardellini, A.A. 2009/10 34 Amazon CloudFront Servizio di content delivery E una CDN in the cloud Delivery di contenuti statici e streaming Richieste redirette automaticamente verso l edge più vicino all utente Integrato con Amazon S3 per lo storage dei contenuti SD - Valeria Cardellini, A.A. 2009/10 35
Google App Engine E la piattaforma di sviluppo e hosting di applicazioni Web a traffico elevato nella cloud di Google Linguaggi di programmazione: Python e Java SD - Valeria Cardellini, A.A. 2009/10 36 Microsoft Azure E la piattaforma cloud di Microsoft per sviluppare applicazioni e servizi in ambito cloud Include: Windows Azure: sistema operatvo come servizio Microsoft SQL Azure: database relazionale in the cloud AppFabric: servizio di connettività sicuro SD - Valeria Cardellini, A.A. 2009/10 37
Open source e cloud computing Eucalyptus http://open.eucalyptus.com/ Acronimo per Elastic Utility Computing Architecture Linking Your Programs To Useful Systems Soluzione di tipo IaaS Compatibile con alcuni Amazon Web Services Nimbus http://www.nimbusproject.org/ Insieme di strumenti open source che forniscono una IaaS per cloud computing in ambito scientifico Compatibile con Amazon EC2 SD - Valeria Cardellini, A.A. 2009/10 38 Migrazione verso il Cloud computing Benefici Quantità infinita di risorse di computazione disponibile su richiesta Virtualizzazione dell hardware Accessibilità anytime e anywhere Accesso basato su Internet/Web Eliminazione dell impegno anticipato degli utenti Costi ridotti in virtù del dimensionamento dinamico dell hardware Modello di pagamento pay-per-use (anche altri modelli) Elasticità: nessun bisogno di pianificare in anticipo i picchi di traffico Gestione facile Versioning e aggiornamento del software SD - Valeria Cardellini, A.A. 2009/10 39
Migrazione verso il Cloud computing Rischi Privacy Chi accede ai miei dati? Sicurezza Quanto mi fido del mio cloud provider? Riguardo a recupero, tracciamento ed integrità dei dati? Questioni politiche e legali Di chi sono i dati? Chi usa i dati personali? Dove sono i dati? Amazon Availability Zone SD - Valeria Cardellini, A.A. 2009/10 40 Riferimenti Michael Armbrust et al., Above the Clouds: A Berkeley View of Cloud Computing, Technical Report EECS- 2009-28, 2009. http://www.eecs.berkeley.edu/pubs/techrpts/2009/ EECS-2009-28.pdf R. Buyya, C.S. Yeo, S. Venugopal, J. Broberg, I. Brandic, Cloud Computing and Emerging IT Platforms: Vision, Hype, and Reality for Delivering Computing as the 5th Utility, Future Generation Computer Systems, Vol. 25, No. 6, pp. 599-616, June 2009. http://www.buyya.com/papers/cloud-fgcs2009.pdf SD - Valeria Cardellini, A.A. 2009/10 41