Virtualizzazione vs. Cloud Computing

Transcript

1 Virtualizzazione vs. Cloud Computing INFN CNAF Ancona 19/21 novembre 2013 Quest'opera è distribuita con Licenza Creative Commons Attribuzione - Non commerciale - Condividi allo stesso modo 3.0 Italia.

2 Agenda Virtualizzazione e differenze con il Cloud Un esempio di framework di virtualizzazione open source Comparazioni Virtualizzazione e Cloud Computing - 19/21 Nov

3 Che differenza c è tra virtualizzazione e Cloud computing? Risposta: + = Virtualizzazione e Cloud Computing - 19/21 Nov

4 Virtualizzazione? Il Cloud computing può anche essere fornito senza l utilizzo di tecnologie di virtualizzazione.! Spesso tuttavia l utilizzo di tecnologie di virtualizzazione consente di ridurre i costi operativi e in conto capitale.! Essere in grado di fornire molto rapidamente delle macchine virtuali non è comunque efficiente, se servono diversi mesi per effettuare il provisioning e l installazione degli host fisici. o Inoltre, il tempo impiegato per la fornitura dello strato di virtualizzazione è recuperato dai risparmi associati al non dover utilizzare server fisici? o Importanza di avere tool di installazione, monitoring e accounting il più possibile automatizzati. Ma che cosa si intende con virtualizzazione? Virtualizzazione e Cloud Computing - 19/21 Nov

5 Che cos è realmente la virtualizzazione? Informalmente, con virtualizzazione si intende la creazione di una versione virtuale di qualcosa.! Ad esempio: una piattaforme hardware, un sistema operativo, un dispositivo di storage o una risorsa di rete.! Attraverso un astrazione: un livello intermedio tra hardware/ sistema operativo e le applicazioni, che semplifica e nasconde i dettagli sottostanti. o Per le applicazioni, l ambiente virtuale è del tutto identico ad un ambiente fisico. Virtualizzazione e Cloud Computing - 19/21 Nov

6 Tipi di virtualizzazione Quando i sistemi virtuali usano un instruction set differente da quello fisico, si parla di emulazione.! Esempio: emulare ARM o PowerPC su piattaforma Intel. Quando i sistemi virtuali usano lo stesso instruction set dell host ospitante, si parla propriamente di virtualizzazione.! A sua volta distinta tra virtualizzazione completa e para-virtualizzazione. Virtualizzazione e Cloud Computing - 19/21 Nov

7 Virtualizzazione completa In questo caso i sistemi delle macchine virtuali (VM) non hanno alcuna consapevolezza di essere eseguite sopra a un hypervisor.! I sistemi ospite girano senza nessuna modifica.! Il virtualizzatore (hypervisor) è incaricato di un grosso lavoro di traduzione delle chiamate privilegiate (system call) delle VM. Virtualizzazione e Cloud Computing - 19/21 Nov

8 Para-virtualizzazione L hypervisor presenta alle VM un interfaccia diversa da quella dell hardware sottostante, detta hypervisor call o hypercall. Sono necessarie modifiche ai sistemi operativi ospiti. Security? Supporto di device/moduli esterni? La maggior parte delle richieste arriva in maniera diretta all hardware. Virtualizzazione e Cloud Computing - 19/21 Nov

9 Hypervisor Lo strato software che fornisce l astrazione viene chiamato Virtual Machine Monitor (VMM) o hypervisor. Il suo compito principale è quello di gestire le istruzioni protette delle macchine virtuali. Gli hypervisor sono classificati in due tipi:! Tipo 1 o bare metal! Tipo 2 o hosted Virtualizzazione e Cloud Computing - 19/21 Nov

10 Hypervisor bare metal Sono hypervisor che vengono eseguiti direttamente sull hardware. Le funzionalità di virtualizzazione si fondono in un sistema operativo leggero che include anche tutti i driver per le periferiche ed il sistema di gestione/realizzazione delle macchine virtuali. Esempi: XEN, VMware vsphere, Parallels Server 4 Bare Metal, Hyper-V. Virtualizzazione e Cloud Computing - 19/21 Nov

11 Hypervisor hosted Sono hypervisor che vengono eseguiti all interno di un sistema operativo. Vengono installati come applicazioni in userspace ed utilizzano le system call per eseguire le istruzioni privilegiate. Esempio: Oracle VirtualBox. Virtualizzazione e Cloud Computing - 19/21 Nov

12 Linux KVM (1/4) KVM (Kernel-based Virtual Machine) non appartiene a nessuna delle precedenti classificazioni. Il sistema di virtualizzazione è realizzato come un modulo del kernel Linux. Permette di eseguire processi, oltre che nella modalità kernel e user, in una modalità chiamata guest mode. Quest ultima trasforma il kernel in un vero e proprio hypervisor, dove le macchine virtuali girano come semplici processi. Virtualizzazione e Cloud Computing - 19/21 Nov

13 Linux KVM (2/4) Un processo in modalità guest ha la possibilità di eseguire codice sia in user sia in kernel mode, come permesso dalle estensioni Intel VT e AMD- V dei nuovi processori.! Serve supporto hardware per usare KVM.! Tutti i processori degli ultimi anni lo supportano. La gestione della memoria è affidata alle tecnologie EPT e NPT di Intel e AMD, che permettono la gestione diretta delle page tables e dei fault da parte delle macchine virtuali. Virtualizzazione e Cloud Computing - 19/21 Nov

14 Linux KVM (3/4) Componenti principali di KVM:! Modulo KVM e device /dev/kvm! QEMU! I processi che rappresentano le VM. /dev/kvm è un dispositivo a caratteri che fa da interfaccia con il sistema di virtualizzazione. QEMU realizza le interfacce di I/O come dischi, schede di rete e CD-ROM. E in grado di realizzare via software tutte le componenti di un PC. Virtualizzazione e Cloud Computing - 19/21 Nov

15 Linux KVM (4/4) Schema della virtualizzazione con KVM: Virtualizzazione e Cloud Computing - 19/21 Nov

16 Vantaggi (1/2) Server consolidation.! Molte VM su una macchina fisica.! Riduce i costi di acquisizione dell hardware e può semplificare operazioni come monitoring e amministrazione. Sandboxing.! Isolamento delle applicazioni.! Sviluppo, test e debug di codice.! Creazione di ambienti per applicazioni legacy. Creazione di VM on-demand. Virtualizzazione e Cloud Computing - 19/21 Nov

17 Vantaggi (2/2) Disaccoppiamento dell hardware dal software.! Suspend/Resume delle VM.! Migrazione di VM tra server fisici (con vari gradi di sofisticazione). Test di nuove versioni di sistema operativo, applicazioni.! O di vecchie versioni: data preservation. Emulazione di hardware non presente sulla macchina fisica. Esecuzione di applicazioni non compatibili con il sistema operativo della macchina fisica. Virtualizzazione e Cloud Computing - 19/21 Nov

18 Svantaggi Sicurezza.! Si mettono sullo stesso hardware diversi sistemi operativi, gestiti da un software aumento della probabilità di bug e aumento del numero dei cosiddetti attack vectors: o VM-to-VM network attacks. o VM-to-HV (KVM o XEN). KVM è un modulo del kernel Linux. Xen è direttamente connesso all hardware. " tutto può diventare compromesso. o VM-to-QEMU. QEMU è un software grande e complesso. Se viene compromesso, l attacco può arrivare al sistema operativo. Performance.! Overhead per la macchina fisica.! Minori prestazioni per la VM, soprattutto nell I/O. Virtualizzazione e Cloud Computing - 19/21 Nov

19 I/O Performance Le cose sono recentemente molto migliorate: Fonte: IBM/RedHat, Feb 2013, Virtualizzazione e Cloud Computing - 19/21 Nov

20 Una (una!) slide sulla security La sicurezza nell utilizzo della virtualizzazione non è un argomento da prendere alla leggera. A parte problemi configurazione legati all isolamento delle reti, questi sono esempi recenti di exploit di sicurezza:! CloudBurst, VMware, result: full breakout.! Xen Ownage Trilogy, Xen, result: full breakout.! VirtuNoid, KVM, result: full breakout.! SYSRET-64, Xen, result: full breakout.! VMDK Has Left The Building, VMware, result: data leakage, loss.! KVM IOAPIC, SET MSR, TIME, KVM, result: DoS, potential breakout. Un testo utile (originato da OpenStack ma con molti concetti validi in modo generale) è la OpenStack Security Guide, disponibile su Notare l impatto (positivo) di sistemi efficienti di provisioning sulla security. Virtualizzazione e Cloud Computing - 19/21 Nov

21 Riassumendo: virtualizzazione vs. Cloud computing Installazione/reinstallazione di server o di applicazioni su VM di per sé non è Cloud computing. Verificare con le 5 caratteristiche del Cloud mostrate precedentemente:! Self-service, on-demand " NO (tipicamente è un dipartimento IT che fornisce le VM)! Accesso attraverso la rete " NO (deployment limitato a internal customers )! Pool di risorse " SÌ! Elasticità " NO (tipicamente è un dipartimento IT che deve installare sistema operativo + software, e non necessariamente in modo scalabile)! Pagamento a consumo " NO (spesso il billing non viene fatto a consumo ma in modo tradizionale) Un esempio di virtualizzazione che non è Cloud? (ma che è complementare al Cloud) Virtualizzazione e Cloud Computing - 19/21 Nov

22 Esempio di tecnologie di virtualizzazione: ovirt ovirt ( è la versione community da cui deriva RedHat Enterprise Virtualization Manager (RHEVM). Assieme ad OpenStack costituisce la base della RedHat Cloud Infrastructure. L infrastruttura di virtualizzazione è costituita da un manager che orchestra un insieme di hypervisors.! Attraverso il manager è inoltre possibile configurare ed eseguire manutenzione sugli hypervisors.! Ovirt-manager fornisce diverse interfacce (WWW, CLI, API) per amministrazione e accesso degli utenti. Virtualizzazione e Cloud Computing - 19/21 Nov

23 Caratteristiche principali Virtualizzazione:! Basata su KVM.! Fino a 64 vcpu e 2TB di RAM per hypervisor.! Supporto HA (con priorità).! Migrazione live delle VM.! Supporta Kernel Samepage Merging (KSM).! Supporta bilanciamento del carico. Storage:! iscsi, Fiber Channel, NFS e locale.! Dalla release 3.2 supporto per Gluster.! Dalla release 3.3 supporto per Glance. Virtualizzazione e Cloud Computing - 19/21 Nov

24 ovirt screenshot Virtualizzazione e Cloud Computing - 19/21 Nov

25 Datacenter ovirt consente diversi livelli di partizionamento dell infrastruttura. Il livello più alto è il Datacenter, cioè un insieme di Cluster che condividono lo stesso tipo di storage. Lo storage di un Datacenter è diviso in 3 domini:! VM Domain! ISO Domain! Export Domain Il concetto di Datacenter può essere inoltre utilizzato per partizionare domini di amministrazione. Virtualizzazione e Cloud Computing - 19/21 Nov

26 Cluster Il Cluster serve per definire un insieme di hypervisor dotati della stessa famiglia di CPU (Haswell, Sandybridge, Westmere, etc.) Il Cluster definisce un dominio di migrazione per le VM. A livello di Cluster è possibile definire:! L ottimizzazione delle memoria (legato ad esempio ad usi server vs. desktop).! La possibilità di migrare VM.! Le policy di utilizzo energetico. Il concetto di Cluster può anche essere utilizzato per separare i domini di amministrazione. Virtualizzazione e Cloud Computing - 19/21 Nov

27 Hosts and Networks (1/2) Hosts and Networks vengono gestiti all interno di un Cluster. La definizione di un host (Hypervisor) permette di:! Associare una URL e una descrizione.! Configurare il power management (fencing).! Specificarne la priorità come Storage Pool Manager. o La gestione dello storage viene effettuta da ovirt Manager attraverso l host eletto SPM. All interno di un Cluster è possibile definire le reti usate dagli host e dalle VM (tagged e untagged). Virtualizzazione e Cloud Computing - 19/21 Nov

28 Hosts and Networks (2/2) Virtualizzazione e Cloud Computing - 19/21 Nov

29 Virtual Machines (1/2) Sempre all interno di un Cluster è possibile definire le VM. In aggiunta al setup usuale è possibile specificare:! Se la VM è stateless o stateful.! Per le VM con Windows, il dominio su cui fare il join.! Il protocollo da usare per esportare la console (VNC o Spice). Nel secondo caso, il supporto USB e il multiple head.! Le policy di migrazione della VM.! In aggiunta alla RAM della VM, la memoria fisica da garantire all hypervisor.! Se la VM è Linux, i parametri del kernel e di initrd. Virtualizzazione e Cloud Computing - 19/21 Nov

30 Virtual Machines (2/2) Virtualizzazione e Cloud Computing - 19/21 Nov

31 Templates ovirt permette la definizione di Templates. Un template è l immagine di una VM precedentemente installata che può essere utilizzata per:! Definire nuove VM (come copia o delta del template).! Definire pool di VM. Se un utente viene associato ad un Template come TemplateUser, un template può essere utilizzato per consentire l istanziazione di VM ondemand (es. via API). Virtualizzazione e Cloud Computing - 19/21 Nov

32 Pools Un Pool è un insieme di VM create in base ad un template.! La cardinalità è definita dell amministratore.! E possibile specificare se una parte del pool va pre-istanziata.! E possibile ridefinire tutte le caratteristiche delle VM. Un Pool può essere:! Automatico (stateless VM): lo spegnimento richiesto dall utente riporta le VM nel loro stato iniziale.! Manuale (stateful VM): le VM sono persistenti a spegnimenti e reboot. I volumi associati alle VM sono delta-disks, cioè contengono solo le differenze rispetto al volume associato al template. Virtualizzazione e Cloud Computing - 19/21 Nov

33 ovirt: il portale utente (1/4) Virtualizzazione e Cloud Computing - 19/21 Nov

37 ovirt: virtualizzazione desktop Particolarmente interessante è la possibilità di virtualizzare desktop in ovirt.! Ottimizzazione dell uso della memoria attraverso KSM (overbooking RAM ~200%).! Esportazione del desktop via VNC o SPICE.! Integrazione della console nel portale utente. L utilizzo di SPICE permette inoltre di:! Esportare l audio (flussi KVM separati).! Importare devices USB.! Integrare la console in Firefox. Virtualizzazione e Cloud Computing - 19/21 Nov

38 Integrazione tra virtualizzazione e Cloud computing Nonostante le differenze, ci sono chiaramente punti di sovrapposizione tra framework di virtualizzazione e framework di Cloud computing. Nel mondo open source, un caso di integrazione è dato dalla crescente convergenza tra ovirt e OpenStack.! With [ovirt 3.3], the ovirt community begins integrating ovirt with other important open source projects such as OpenStack and Gluster. (I. Hein, RedHat)! Integrazione delle immagini (Glance) e del networking (Neutron) forniti da OpenStack.! Integrazione di cloud-init, il tool standard de facto utilizzato per la contestualizzazione di nodi Cloud. Virtualizzazione e Cloud Computing - 19/21 Nov

39 Soluzioni proprietarie? Abbiamo un po chiarito la differenza tra virtualizzazione e Cloud. Nonostante questo, una comparazione che spesso viene fatta o chiesta è quella tra OpenStack e (ad esempio) VMware.! In realtà, per quanto detto, andrebbero comparati ovirt e VMware.! Tenendo anche conto che, qualora fosse necessario fornire in un data center anche soluzioni Cloud, ovirt fornisce un path di integrazione verso OpenStack. Un buon articolo di comparazione si trova in Possiamo distinguere alcune categorie di comparazione:! Design! Features! Use cases! Value! Performance Virtualizzazione e Cloud Computing - 19/21 Nov

40 OS vs. VMware: Design ESXi è un ottima base per prodotti come vsphere e vcloud, con eccellente documentazione! Tuttavia, il sistema è chiuso e la sua evoluzione è totalmente dipendente da VMware.! Attenzione a questo punto: è assai spiacevole dover tracciare le fortune o sfortune, le scelte o le non scelte di una ditta per verificare le proprie strategie. OpenStack è più nuovo, con deployment e architettura più complesse di quella di VMware.! Ma nessuno controlla singolarmente il suo sviluppo e ha un grande supporto di industria e sviluppatori. Virtualizzazione e Cloud Computing - 19/21 Nov

41 OS vs. VMware: Features Migrazione.! VMware: vmotion, richiede uno storage condiviso.! OS: live migration (storage condiviso) oppure block migration (non richiede storage condiviso). Scheduling.! VMware: DRS (resource scheduling) e DPM (power management) per il consolidamento delle risorse o Sono feature attraenti. Tuttavia DRS è controllabile in modo a volte non molto granulare in quanto a pesi e a dimensione temporale (es. la CPU è alta durante un backup notturno e DRS sposta live la VM, senza reale motivo).! OS: scheduling per compute e per volumi. Questi scheduler sono modificabili attraverso JSON. OpenStack non è però qui flessibile come VMware perché ad es. non può spostare automaticamente le macchine live. Virtualizzazione e Cloud Computing - 19/21 Nov

42 OS vs. VMware: Features HA! VMware: spawn di una VM su un host differente su la VM o l hypervisor hanno problemi.! OpenStack: non c è supporto diretto. Esistono tuttavia vari modi di implementare soluzioni di HA. Fault tolerance! VMware: controlla lo stato di una VM e ne fa il mirroring continuo su un ESXi secondario. Tuttavia funziona solo in caso di failure dell hypervisor, duplica le risorse richieste come RAM, disco, CPU, bandwidth e una sola vcpu può essere protetta in questo modo.! OpenStack: non c è una feature simile e neanche il progetto di inserirla, sia per motivi architetturali sia perché KVM non supporta l instruction mirroring. Virtualizzazione e Cloud Computing - 19/21 Nov

43 OS vs. VMware: casi d uso Qui si gioca buona parte di questa comparazione: le feature sono importanti ma devono essere mappate su casi d uso reali. Abbiamo detto che è bene distinguere tra virtualizzazione e Cloud computing. I casi d uso sono alla fine legati alle applicazioni. Ma quali sono i requirement di una applicazione di tipo Cloud, o che possa andare su Cloud?! Vedi analogia cagnolini vs. mucche. Virtualizzazione e Cloud Computing - 19/21 Nov

44 Dai casi d uso alla Cloud Applications are being built to control and manipulate the infrastructure. (L.Moorman, presidente di Rackspace, La applicazioni di tipo Cloud devono essere largamente indipendenti dall infrastruttura per poter scalare orizzontalmente (e per essere indipendenti dal fornitore di servizi Cloud). Questo implica che, nel Cloud, molte delle features presenti nella suite VMware non sono necessariamente così utili come sembrano.! Ad esempio, nelle applicazioni legacy HA è gestito dall infrastruttura. Nelle applicazioni cloud-aware HA è gestito autonomamente.! Ultimately, VMware today is not about cloud, it is about datacenter automation. It is not about infrastructure as a service, it is about virtualization offerings focused at very specific enterprise pain points. Boris Renski, Mirantis ( Virtualizzazione e Cloud Computing - 19/21 Nov

45 Conclusione OpenStack è gratis ma richiede uno sforzo significativo per una corretta ingegnerizzazione.! Questo sia perché è più nuovo, sia perché supporta un numero elevato di scenari applicativi e di installazioni. VMware costa ma è più facile da utilizzare, anche grazie a un uso maggiore di interfacce grafiche. Tuttavia molte feature sono teoricamente interessanti ma la loro reale applicabilità è da verificare.! Un problema significativo è la applicabilità in ambito Cloud che si estenda oltre il singolo data center e soprattutto il rischio strategico. E ovirt?! E un prodotto open con un percorso complementare ad OpenStack. Valgono le stesse considerazioni rispetto a VMware: non così featurerich, ma probabilmente maturo a sufficienza per molte applicazioni. Virtualizzazione e Cloud Computing - 19/21 Nov

46 Credits Ringraziamenti per discussioni, materiale e contributi vari legati alla realizzazione di questo corso vanno a:! Marco Caberletti! Enrico Fattibene! Stefano Longo! Matteo Manzali! Valerio Venturi! Paolo Veronesi Info: Davide.Salomoni@cnaf.infn.it Virtualizzazione e Cloud Computing - 19/21 Nov