Cloud Infrastructure - studio di fattibilità

Transcript

1 Cloud Infrastructure - studio di fattibilità Business Intelligence Group: Lorenzo Baldacci Matteo Gofarelli Matteo Francia Simone Graziani Enrico Gallinucci Stefano Rizzi matteo.francia3@unibo.it

2 Obiettivi dello studio di fattibilità Valutazione dei costi di realizzazione di una piattaforma per la Social Business Intelligence Integrazione dati social (UGC) e dati enterprise Per l analisi quantitativa e qualitativa incrociata E la generazione di reportistica ad hoc Case study sviluppato a partire da una serie di progetti reali

3 Architettura Funzionale KNOWLEDGE DATA

4 Modelli di Hosting InHouse Chi desidera implementare l infrastruttura acquista l hardware fisico e lo gestisce in ogni suo aspetto Infrastructure (Hardware) as a Service (IaaS): Provider remoto è proprietario dell hardware Cliente (noi) Paga per l utilizzo dell hw e il sw di base E si occupa di tutto ciò che riguarda il software: Aggiornamenti di sistema Sicurezza Gestione Web server Platform as a Service (PaaS): Provider remoto è proprietario dell hardware si occupa anche degli aspetti legati al sw di base: Aggiornamenti di sistema Sicurezza Web server 4

5 Cloud Provider (AWS) 5

6 Architettura Fisica Analisi statistico/semantica WEB DATA PROVIDER ETL ODS Document Repository CRM & altre sorgenti strutturate DW ETL Interfaccia utente

7 Architettura Fisica Analisi statistico/semantica WEB DATA PROVIDER 700 MB/g 3,12 GB/g 9 MB/g 39 MB/g testi/g ETL 10 MB/g 40 MB/g ODS 9 MB/g 39 MB/g Document Repository CRM & altre sorgenti strutturate 70 MB/g 290 MB/g Dato Lunghezza media di un testo Spazio occupato da una clip non elaborata Spazio occupato dal testo Spazio Occupato da una clip elaborata Valore 1300 car 2,2 KB 2 KB DW 171 KB ETL 100 MB/g 1 GB/g N * 2 kb Interfaccia utente

8 Architettura SAS - InHouse Analisi statistico/semantica ETL Interfaccia utente

9 SAS Analisi statistico/semantica SAS Metadata e Compute Service mantiene i metadati di sistema orchestra le operazioni di caricamento ed elaborazione dei dati Text Analytics and Social Engine Implementa gli algoritmi di analisi dei testi Interfaccia utente SAS Visual Analytics Analisi dati DW-like Mantenuti in una sola tabella in memoria centrale Comprende LASR Analytics In-memory db Elevate prestazioni

10 SAS Analisi statistico/semantica SAS Metadata e Compute Service E se utilizzassimo una sola macchina piuttosto che due separate? Gestione di un solo hw e relative problematiche Condivisione risorse (minor costo) Quando una macchina raggiunge il picco teorico di utilizzo l altra è nella fase di workload minore mantiene i metadati di sistema orchestra le operazioni di caricamento ed elaborazione dei dati Text Analytics and Social Engine Implementa gli algoritmi di analisi dei testi Analisi statistico/semantica Interfaccia utente SAS Visual Analytics Analisi dati DW-like Mantenuti in una sola tabella in memoria centrale Comprende LASR Analytics Interfaccia utente In-memory db Elevate prestazioni

11 Architettura SAS InHouse (2) ETL Analisi statistico/semantica Interfaccia utente

12 Architettura SAS - cloud % di utilizzo 33% Analisi statistico/semantica ETL % di utilizzo 100% Interfaccia utente SocialBI Analysis

13 Architettura SyNTHEMA - InHouse ETL Analisi statisticosemantica Interfaccia utente + Data Warehouse SocialBI Analysis

14 Architettura SyNTHEMA - cloud % di utilizzo 33% ETL Analisi statistico/semantica % di utilizzo 100% Interfaccia utente + Data Warehouse

15 SyNTHEMA SAS Comparazione Costi InHouse Cloud 15

16 SyNTHEMA SAS Comparazione Costi InHouse Cloud 16

17 Costi HW in House SAS Le principali caratteristiche dei server sono state fornite in precedenza. Altre scelte sono state basate sulle caratteristiche dell applicazione Gestione di grandi quantità di dati e necessità di velocità di accesso a disco Dischi a stato solido (molto costosi) Dischi veloci SAS rpm RAID con data striping Necessità di robustezza RAID con mirroring o parity Alimentatore hot swap Server hot swap (molto costoso) Verificare i costi su 17

18 Costi HW in House SAS Le principali caratteristiche dei server sono state fornite in precedenza. Altre scelte sono state basate sulle caratteristiche dell applicazione Gestione di grandi quantità di dati e necessità di velocità di Con n dischi capacità k byte si ottiene una capacità di accesso a disco (n-1) x k byte Dischi a stato solido (molto costosi) Dischi veloci SAS rpm RAID con data striping Necessità di robustezza RAID con mirroring o parity Alimentatore hot swap Server hot swap (molto costoso) Verificare i costi su La configurazione RAID 5 gestisce striping e parità. 18

19 Costi HW in House SAS Verificare i costi per la seguente configurazione Caratteristica Descrizione Note Costo Processore 2 x AMD Opteron 6376 (16 core2.30 GHZ) Si è scelto di utilizzare una sola macchina con 32 processori invece di 2 con 16 processori al fine di un miglior utilizzo delle componenti RAM 256 GB DDR3-RAM (16x Kingston DIMM 16 GB PC ECC Reg.) Hard Drive 600 GB Seagate Cheetah 15K.7 (16 MB cache/15,000 rpm/sas 6Gb/s) La configurazione con 4 dischi permette di realizzare sia data striping che mirroring. RAID Controller Power supply Network adapter Garanzia Totale Areca ARC-1212 RAID Level 0, 1, 3, 5, 6,10 und 50; max. 4 hard drives; 256 MB Cache 3Y Power 650 watts redundant power supply Intel 10 Gigabit CX4 Dual Port Server Adapter 36 mesi L alimentare hot swap fornisce maggiore garanzia al servizio 19

20 Costi HW in House SAS Verificare i costi per la seguente configurazione Caratteristica Descrizione Note Costo Processore 2 x AMD Opteron 6376 (16 Si è scelto di utilizzare una sola 1,078 core2.30 GHZ) macchina con 32 processori invece di 2 con 16 processori al fine di un miglior utilizzo delle componenti RAM 256 GB DDR3-RAM (16x Kingston DIMM 16 GB PC ECC Reg.) 2,763 Hard Drive 600 GB Seagate Cheetah 15K.7 (16 MB cache/15,000 rpm/sas 6Gb/s) RAID Controller Power supply Network adapter Areca ARC-1212 RAID Level 0, 1, 3, 5, 6,10 und 50; max. 4 hard drives; 256 MB Cache 3Y Power 650 watts redundant power supply Intel 10 Gigabit CX4 Dual Port Server Adapter 36 mesi La configurazione con 4 dischi permette di realizzare sia data striping che mirroring. L alimentare hot swap fornisce maggiore garanzia al servizio 228 x Garanzia Totale

21 SyNTHEMA SAS Comparazione Costi InHouse Cloud 21

22 SyNTHEMA SAS Comparazione Costi InHouse Cloud 22

23 Amazon Calculator Pannello gestione servizi & Costo calcolato Selezione Region Elenco servizi AWS Pannelli di configurazione preferenze d uso dei servizi Google Amazon Web Services Simple Monthly Calculator 23

24 Possibile Soluzione SAS cloud 24

25 Possibile Soluzione SAS cloud Possiamo effettuare una trasposizione 1:1 rispetto all architettura InHouse Necessario integrare acquistando storage aggiuntivo perché il frontend risulta sottodimensionato Reservation Possiamo sfruttare al massimo la reservation (Heavy Reservation plan) sul frontend che deve in ogni caso rimanere attivo 24/24 Per il backend non possiamo sfruttare il piano heavy ma dobbiamo limitarci al medium poiché il risparmio maggiore deriva dal tenere la macchina spenta per il 66% della giornata 25

26 Possibile Soluzione SyNTHEMA cloud 26

27 Possibile Soluzione SyNTHEMA cloud In questo caso non è possibile effettuare una trasposizione 1:1 dell hw usato nella soluzione InHouse La soluzione più conveniente è quella di orientarsi su una macchina unica che svolga tutte le elaborazioni Leggermente sottodimensionata dal punto di vista della ram si può valutare step di acquisto successivo Reservation All aumentare del pagamento anticipato (upfront) da parte dell utente è possibile usufruire di un prezzo mensile minore Possiamo sfruttarla al massimo avendo una sola macchina che in ogni caso deve rimanere accesa 24h/24 27

28 SyNTHEMA SAS Comparazione Hardware Single Machine 32 core(1x 2,1Ghz) 256 GB ram 2 TB hdd Backend: 1x 32 core 64bit 244 GB ram 2x 120 GB SSD hdd Frontend: 1x 8 core 64bit 68 GB ram 2x 840 GB hdd SingleMachine 16 core(1x 2,1Ghz) 128 GB ram 1 TB hdd SingleMachine 16 core(1x 2,1Ghz) 128 GB ram 1 TB hdd InHouse Cloud 28

29 SyNTHEMA SAS Comparazione Costi del 1 anno InHouse Cloud 29

30 SyNTHEMA SAS Comparazione Costi del 1 anno InHouse Cloud 30

31 SyNTHEMA SAS Costi 1 anno ammortamento triennale InHouse Cloud 31

32 SyNTHEMA SAS Costi 1 anno ammortamento triennale InHouse Cloud 32

33 Conclusioni Quando conviene il Cloud? Pagare un fornitore di servizi cloud per avere un hw in remoto da gestire come se fosse in-house (Iaas) Acquistare servizi (Paas) sfruttare appieno l outsourcing dell hw e del sw Applicativi che scalano molto velocemente (quando è difficile fare delle previsioni precise sui requirements) In ogni caso è necessario formarsi/formare il personale che lavorerà sul progetto per gestire la piattaforma fisica per gestire la piattaforma cloud Non sono stati elencati tutti i costi di progetto TCO Total Cost Ownership 33

34 Altri costi di progetto Costo Cloud InHouse Formazione e consulenza 15K = 20 G x 750 /G 15K = 20 G x 750 /G Sistemista K = 2 M/U Energia ---- Locali, pulizie, condizionatori ---- Spese generali /anno 34

35 Amazon Web Services - Servizi 35

36 Amazon Web Services - Servizi Elaborazione EC2 (Elastic Compute Cloud) Server Virtuali Storage S3 (Simple Storage Service) Sistema di memorizzazione di oggetti EDBS (Elastic Block Storage) Hdd virtuali usati dai server EC2 DBMS RDS (Relational Database Service) Web Service per la gestione di db relazionali cloud DynamoDB Web Service per la gestione di db non relazionali cloud Data Warehouse Red Shift Web Service di Data Warehouse cloud Integrabile coi più diffisi frontend di analisi (Oracle OBIEE, MicroStrategy, Jaspersfot, 36