Università degli Studi di Roma Tor Vergata Facoltà di Ingegneria. Un problema. Come realizzare un sistema che offre servizi con le seguenti esigenze?

Transcript

1 Università degli Studi di Roma Tor Vergata Facoltà di Ingegneria Un problema Come realizzare un sistema che offre servizi con le seguenti esigenze?" Milioni di richieste al giorno" Crescita/decrescita del tasso di richieste pari al 100% allʼanno" E, in certi casi, differenti anche per un ordine di grandezza" Picchi di (milioni di) richieste stagionali" Miliardi di GB da memorizzare" " Valeria Cardellini - SD A.A. 2011/12 1

2 Alcune risposte (anche parziali) Utility computing On-demand computing Grid computing Autonomic computing Software as a Service (SaaS) Una vecchia idea: delivery di applicazioni su Internet Più recentemente: XaaS, dove X=[Hardware, Infrastructure, Platform, ] HaaS: Hardware as a Service IaaS: Infrastructure as a Service PaaS: Platform as a Service HuaaS: Human as a Service (incluso crowdsourcing) Valeria Cardellini - SD A.A. 2011/12 2 Alcune risposte (2) Alcune definizioni meno recenti usate dalle aziende Pay-as-you-go (def. di Sun) Adaptive enterprise (def. di HP) E-business on demand (def. di IBM) Elastic computing cloud (def. di Amazon) Prima del Cloud computing Troppe definizioni (alcune sinonimi, altre con lievi differenze): tipico di un periodo di transizione Valeria Cardellini - SD A.A. 2011/12 3

3 Dalle 4 utility fondamentali Acqua Gas al computing come quinta utility Elettricità Telefono/Rete Valeria Cardellini - SD A.A. 2011/12 4 Utility computing Utility computing: la potenza dei calcolatori e le applicazioni possono essere vendute secondo il modello economico dell utilità (utility) Adozione del modello economico del servizio Illusione di avere a disposizione risorse infinite Tariffazione di tipo pay-as-you-go e a grana fine (ad es. per ora) La vision computer utility non è una idea nuova! 1961: John McCarthy If computers of the kind I have advocated become the computers of the future, then computing may someday be organized as a public utility just as the telephone system is a public utility... The computer utility could become the basis of a new and important industry. Valeria Cardellini - SD A.A. 2011/12 5

4 1969: Leonard Kleinrock, progetto ARPANET As of now, computer networks are still in their infancy, but as they grow up and become sophisticated, we will probably see the spread of computer utilities, which, like present electric and telephone utilities, will service individual homes and offices across the country. Alcune ridefinizioni di computer 1984: John Gage, Sun Microsystems The network is the computer 2008: David Patterson, Univ. Berkeley The data center is the computer. There are dramatic differences between of developing software for millions to use as a service versus distributing software for millions to run their PCs Oggi: Cloud is the computer (Rajkumar Buyya, Univ. Melbourne) Valeria Cardellini - SD A.A. 2011/12 6 Fonte: R. Buyya, Market-Oriented Cloud Computing:, Un business di milioni di milioni di!? Web Data Center Utility Computing Service Computing Grid Computing + P2P Computing Cloud Computing! Accesso ubiquo! Affidabilità Paradigmi! Scalabilità! Comportamento autonomico! Scoperta dinamica! Composizione Attributi! Quality of Service (QoS)! Service Level Agreement (SLA)! Valeria Cardellini - SD A.A. 2011/12 7

5 Search trends: Cluster computing, Grid computing, distributed computing, Cloud computing" Valeria Cardellini - SD A.A. 2011/12 8 Distributed computing Loosely coupled Heterogeneous Single administration Cluster computing Tightly coupled Homogeneous Single System Image Grid computing Large scale Cross-organizational Geographical distribution Distributed management Cloud computing Provisioned on demand Service guarantee VMs and Web 2.0-based Valeria Cardellini - SD A.A. 2011/12 Fonte: R. Buyya 9

6 I wandered lonely as a cloud That floats on high o er vales and hills, When all at once I saw a crowd, A host of golden daffodils William Wordsworth Cosa si intende? In cosa differisce dagli altri paradigmi e in che direzione li estende? Valeria Cardellini - SD A.A. 2011/12 10 Una miriade di termini " Virtualization Billing Storage PaaS Pricing SaaS Resource Metering Provisioning on Demand Utility Computing Public Cloud Web 2.0 Privacy Security Amazon EC2 Rackspace Private Cloud Amazon S3 IaaS Google AppEngine Valeria Cardellini - SD A.A. 2011/12 11

7 Cloud Computing Cloud è il simbolo grafico generalmente usato per rappresentare Internet Il termine Computing comprende: - Computazione - Logica di coordinazione - Storage Il Cloud computing riguarda lo spostamento del computing da un singolo PC/data center ad Internet Valeria Cardellini - SD A.A. 2011/12 12 [Armbrust et al., 2009]: : Cloud Computing refers to both the applications delivered as services over the Internet and the hardware and software systems in the data centers that provide those services. The services themselves have long been referred to as Software as a Service (SaaS), so we use that term. The data center hardware and software is what we will call a Cloud. Cloud computing has the following characteristics: (1) The illusion of infinite computing resources (2) The elimination of an up-front commitment by cloud users (3) The ability to pay for use as needed. " [NIST, 2011]: Cloud computing is a model for enabling convenient, ondemand network access to a shared pool of configurable computing resources (e.g., networks, servers, storage, applications, and services) that can be rapidly provisioned and released with minimal management effort or service provider interaction." [Vaquero et al., 2009] Clouds are a large pool of easily usable and accessible virtualized resources (such as hardware, development platforms and/or services). These resources can be dynamically reconfigured to adjust to a variable load (scale), allowing also for an optimum resource utilization. This pool of resources is typically exploited by a pay-per-use model in which guarantees are offered by the infrastructure provider by means of customized SLAs. " Valeria Cardellini - SD A.A. 2011/12 13

8 Pay-per-use pricing model" No up-front cost" Elastic capacity: on-demand scale in/out" Resources virtualization" Resources: storage, processing, memory, network bandwidth, and virtual machines" Self-service interface" Not required human interaction with each service s provider" Valeria Cardellini - SD A.A. 2011/12 14 Altri aspetti caratterizzanti Lʼintero stack (hw & sw) è usato su Internet" Il computing diventa una vera utility usata da tutti" Aziende" Fornitori di servizi" Utenti finali" Ricercatori" Gli aspetti economici assumono maggiore importanza " Tariffazione, determinazione dei prezzi di vendita, Quality of Service (QoS), Service Level Agreement (SLA)" Due differenze significative rispetto al Grid computing Valeria Cardellini - SD A.A. 2011/12 15

9 Cloud computing: perché ora? Esperienza con data center di ampie dimensioni" Economie di scala senza precedenti" Altri fattori" Diffusione di Internet a banda larga " Virtualizzazione x86 veloce" Modello di costo pay-per-use " Stack del software standard" Valeria Cardellini - SD A.A. 2011/12 16 Cloud pubblica L utente finale dei servizi erogati dalla Cloud (il Cloud user) è di tipo pubblico, accede mediante sottoscrizione I servizi Cloud possono essere gratuiti oppure a pagamento Esempi: Amazon EC2, Google AppEngine, Rackspace, Windows Azure Cloud privata Il Cloud user è all interno di un azienda (o di una qualsiasi organizzazione non aperta ad Internet) ed usa il data center aziendale, realizzato con tecnologie tipiche del Cloud computing (virtualizzazione delle risorse e dei servizi e standardizzazione della gestione) Minori vantaggi economici rispetto a Cloud pubblica Maggiore sicurezza rispetto a Cloud pubblica Valeria Cardellini - SD A.A. 2011/12 17

10 Cloud di tipo community (o enterprise) Simile a Cloud privata, ma l azienda o organizzazione ha dimensione più ampie Cloud ibrida Combinazione di cloud privata e cloud pubblica Vantaggi di cloud pubblica + privata Esempio: per gestire il workload variabile di un applicazione fornita Valeria Cardellini - SD A.A. 2011/12 18 Valeria Cardellini - SD A.A. 2011/12 19

11 Example: need for dynamic hybrid cloud Usage of a dynamic hybrid cloud to manage a variable workload Private cloud used to provide a Web application under normal traffic condition Plus a public cloud used to manage traffic bursts that the private cloud is unable to substain Public cloud Private cloud Valeria Cardellini - SD A.A. 2011/12 20 Scientific Computing Financial Applications Private Cloud Amusement Google Apps (Gmail, Docs, ) Salesforce.com Web 2.0 Interface Programming API Scripting & Programming Languages Google AppEngine Microsoft Azure Force.com Virtualization VM Management & Deployment Software as a Service Platform as a Service Infrastructure as a Service Amazon S3, EC2 Public Cloud OpenNebula, Eucalyptus Hybrid Cloud Other Grids/ Rackspace Mosso Clouds Clusters Data Centers Storage Valeria Cardellini - SD A.A. 2011/12 21 Pricing and Billing QoS Metering Accounting SLA Negotiation Admission Control

12 Another view of the Cloud stack Valeria Cardellini - SD A.A. 2011/12

13 Different kinds of service providers (SP) High-value SPs Intermediaries SPs Basic SPs Rackspace Infrastructure SPs Valeria Cardellini - SD A.A. 2011/12 22 Source: Windows Azure Platform: Cloud Development Jump Start Valeria Cardellini - SD A.A. 2011/12 23

14 IaaS: risorse computazionali (storage, server) disponibili come servizi a richiesta Invece di utilizzare macchine fisiche, lo IaaS user accede a server virtuali su cui installa il proprio sw, in generale dal sistema operativo in su Esempi Akamai (NetStorage e servizi CDN) Amazon (Elastic Compute Cloud/EC2 e Simple Storage Service/S3) FlexiScale GoGrid (Cloud Servers e Cloud Storage) Joyent (Accelerator) Rackspace Valeria Cardellini - SD A.A. 2011/12 24 PaaS: piattaforme che consentono uno sviluppo facile e l'implementazione di applicazioni scalabili, senza la necessità di investire in (o gestire) qualsiasi infrastruttura sottostante Forniscono servizi di più alto livello rispetto a IaaS (ad es. framework applicativi e strumenti di sviluppo) Esempi Akamai (EdgeComputing) Amazon (SimpleDB) Elastra e RightScale (piattaforme per Amazon EC2) Google (App Engine) Microsoft (Azure) Oracle (SaaS Platform) Valeria Cardellini - SD A.A. 2011/12 25

15 SaaS: applicazioni a disposizione del Cloud user che sono gestite e distribuite tramite web E attualmente la categoria più ampia di soluzioni di Cloud computing Esempi Comunicazione: Adobe Web Connect, Cisco WebEx, Google Mail, Hotmail, Yahoo! Mail Produttività personale: Google Docs, Google Calendar Storage di file: Dropbox, SugarSync E-Commerce: Demandware CRM (Customer relationship management): salesforce.com Contabilità, ERP (Enterprise Resource Planning), CRM ed e-commerce: NetSuite Risorse umane, finanza ed altre applicazioni ERP: SAP Business ByDesign, Workday Valeria Cardellini - SD A.A. 2011/12 26 Usando un IaaS provider Risorse virtualizzate pure CPU, memoria, storage e banda di rete Al più, sistema operativo (es. Amazon EC2) Accesso tramite Web service e/o Web API Usando un PaaS provider Risorse virtualizzate più framework applicativo Ad esempio: RoR (Ruby On Rails), Python,.NET Imposizione dell architettura dell applicazione e dei dati Limiti su come viene costruita l'applicazione Maggiori rischi di vendor lock-in Valeria Cardellini - SD A.A. 2011/12 27

16 Il Cloud user ottiene le risorse che gli servono nel momento in cui ne ha bisogno" Elasticità nello scale-out e nello scale-in" Legata al modello pay-per-use" Non occorre più dimensionare lʼinfrastruttura sul picco di carico " Valeria Cardellini - SD A.A. 2011/12 28 Soluzioni tradizionali: sovra-dimensionamento Sovra-dimensionamento dell infrastruttura: comporta sotto-utilizzazione Utilizzazione dei server nei data center tradizionali In genere < 20%; in casi rari 30% Data center di Google: compresa tra 10% e 50% (nel 2007) Utilizzazione delle componenti di rete nei data center tradizionali In genere < 10% Costoso e con impatto negativo sull ambiente Valeria Cardellini - SD A.A. 2011/12 29

17 Sotto-dimensionamento dell infrastruttura: comporta forti penalità Valeria Cardellini - SD A.A. 2011/12 30 Animoto su Facebook (aprile 2008)" Da a utenti in soli 3 giorni" Con un picco di nuovi utenti allʼora" Valeria Cardellini - SD A.A. 2011/12 31

18 Contratto formale tra user e provider di un servizio che specifica: i dettagli del servizio fornito, in termini di parametri ed obiettivi (Service Level Objective, SLO) concordati tra le parti (ad es. latenza, disponibilità) le sanzioni e/o le compensazioni in caso di violazione delle aspettative tra le parti" Valeria Cardellini - SD A.A. 2011/12 32 Monitoraggio a runtime del servizio Fonte: Sun Microsystems Internet Data Center Group Valeria Cardellini - SD A.A. 2011/12 33

19 Service Commitment Amazon EC2: AWS will use commercially reasonable efforts to make Amazon EC2 available with an Annual Uptime Percentage (defined below) of at least 99.95% during the Service Year. In the event Amazon EC2 does not meet the Annual Uptime Percentage commitment, you will be eligible to receive a Service Credit as described below." Service Commitments and Service Credits If the Annual Uptime Percentage for a customer drops below 99.95% for the Service Year, that customer is eligible to receive a Service Credit equal to 10% of their bill (excluding one-time payments made for Reserved Instances) for the Eligible Credit Period. To file a claim, a customer We will apply any Service Credits only against future Amazon EC2 payments otherwise due from you." Valeria Cardellini - SD A.A. 2011/12 34 "Numerose opportunità per lo sviluppo di nuove applicazioni, tra cui:" Applicazioni Web e mobili interattive" Processamento non possibile sul dispositivo mobile! computation offloading nella Cloud (anche per storage)" Dispositivi mobili la cui UI è sul web anziché sul dispositivo stesso" Dispositivi mobili che agiscono come sensori per lʼacquisizione intelligente di dati" Analisi di enormi quantità di dati" Basato su MapReduce e Apache Hadoop" Attenzione: conviene spostare i dati nella Cloud se vi è uno speedup nellʼanalisi dei dati (non dimenticare la latenza di comunicazione!)" Estensioni di software desktop di tipo computing-intensive" Quale sarà la killer application del cloud computing?! Valeria Cardellini - SD A.A. 2011/12 35

20 Benefici per l ambiente Benefici di businees Benefici IT Gartner s hype cycle for Cloud computing (July 2011) Valeria Cardellini - SD A.A. 2011/12 36 Riassumendo: i principali benefici Scalabilità, elasticità, flessibilità" Quantità infinita di risorse di computazione disponibile su richiesta" Accessibilità anytime e anywhere" Accesso basato su Internet/Web" Semplicità di gestione" Ad es. versioning e aggiornamento del software" Eliminazione dellʼimpegno anticipato" I costi scalano con lʼutilizzo (infrastruttura come percentuale di profitto e non come costo fisso iniziale)" Innovazione di business più rapida" Maggiore produttività" Riduzione dellʼimpatto ambientale dellʼict in ottica green" Valeria Cardellini - SD A.A. 2011/12 37

21 Criticità per il Cloud user Privacy e sicurezza" Chi accede ai miei dati nella Cloud?" Quanto mi fido del mio Cloud provider?" E riguardo a recupero, tracciamento ed integrità dei dati?" Questioni politiche e legali" Di chi sono i dati?" Chi può usare i dati?" Dove sono localizzati i dati?" Ad es., AWS Regions per lo storage" Progettazione di applicazioni scalabili fin dallʼinizio" Elasticità" Sì, ma spesso di tipo manuale e non automatico" Latenza di comunicazione" Distanza di qualche msec con il Cloud provider " Paradigma adatto per applicazioni real-time?" Valeria Cardellini - SD A.A. 2011/12 38 Rischi di vendor lock-in Ad es. data lock-in: difficoltà di migrazione dei dati in caso di cambio del Cloud provider Mancanza di capacità di negoziazione e gestione dei Cloud provider Definizione di SLA Monitoraggio di SLO spesso a carico del Cloud user (vedi SLA di Amazon EC2) Mancanza di standardizzazione nei servizi offerti Valeria Cardellini - SD A.A. 2011/12 39

22 Criticità per il Cloud provider Gestione di SLA Qual è il vero costo della fornitura di SLA? Effetto a cascata causato dalla violazione di un SLA ad un determinato livello dello stack Cloud Incertezza e variabilità nella richiesta di servizio Ad es. nel caso di storage: pattern di utilizzo da parte degli utenti, tipo di workload predominante, frequenza di accesso delle risorse, volume di accesso delle risorse, località degli accessi, durata delle risorse, dimensione delle risorse Vincoli posti dai Cloud user Richiesta di API aperte/standard Necessità di aggiungere continuamente valore Ogni applicazione è unica! Energy management Interoperabilità tra Cloud diverse Valeria Cardellini - SD A.A. 2011/12 40 Concludendo" Il Cloud computing " Ha le potenzialità per cambiare in modo sostanziale il modo in cui viene progettata l'architettura tecnica e di business delle aziende" Eʼ una tecnologia dirompente, che può determinare un conseguente scompiglio creativo" I sistemi che supportano il Cloud computing sono estremamente complessi" Moltissimi server, miriadi di tecnologie, interazioni complesse tra rete e sistema, miriadi di applicazioni con carichi eterogenei" "La sfida: come rendere reali le potenzialità del Cloud"? Valeria Cardellini - SD A.A. 2011/12 41