Cloud Infrastructure - studio di fattibilità

Transcript

1 Cloud Infrastructure - studio di fattibilità Business Intelligence Group: Lorenzo Baldacci Matteo Gofarelli Matteo Francia Simone Graziani Enrico Gallinucci Stefano Rizzi

2 Obiettivi dello studio di fattibilità Valutazione dei costi di realizzazione di una piattaforma per la Social Business Intelligence Integrazione dati social (UGC) e dati enterprise Per l analisi quantitativa e qualitativa incrociata E la generazione di reportistica ad hoc Case study sviluppato a partire da una serie di progetti reali

3 Architettura Funzionale KNOWLEDGE DATA

4 Modelli di Hosting InHouse Chi desidera implementare l infrastruttura acquista l hardware fisico e lo gestisce in ogni suo aspetto Infrastructure (Hardware) as a Service (IaaS): Provider remoto è proprietario dell hardware Cliente (noi) Paga per l utilizzo dell hw e il sw di base E si occupa di tutto ciò che riguarda il software: Platform as a Service (PaaS): Provider remoto è proprietario dell hardware si occupa degli aspetti legati al sw di base e mette a disposizione degli sviluppatori (noi) un insieme di funzionalità e librerie che semplificano e accelerano l implementazione 4

5 Cloud Provider (AWS) 5

6 Architettura Fisica Analisi statistico/semantica WEB DATA PROVIDER 700 MB/g 3,12 GB/g 9 MB/g 39 MB/g testi/g ETL 10 MB/g 40 MB/g ODS 9 MB/g 39 MB/g Document Repository CRM & altre sorgenti strutturate 70 MB/g 290 MB/g Dato Lunghezza media di un testo Spazio occupato da una clip non elaborata Spazio occupato dal testo Spazio Occupato da una clip elaborata Valore 1300 car 2,2 KB 2 KB DW 171 KB ETL 100 MB/g 1 GB/g N * 2 kb Interfaccia utente

7 Architettura SAS - InHouse Analisi statistico/semantica ETL Interfaccia utente

8 SAS Analisi statistico/semantica SAS Metadata e Compute Service E se utilizzassimo una sola macchina piuttosto che due separate? Gestione di un solo hw e relative problematiche Condivisione risorse (minor costo) Quando una macchina raggiunge il picco teorico di utilizzo l altra è nella fase di workload minore mantiene i metadati di sistema orchestra le operazioni di caricamento ed elaborazione dei dati Text Analytics and Social Engine Implementa gli algoritmi di analisi dei testi Analisi statistico/semantica Interfaccia utente SAS Visual Analytics Analisi dati DW-like Mantenuti in una sola tabella in memoria centrale Comprende LASR Analytics Interfaccia utente In-memory db Elevate prestazioni

9 Architettura SAS InHouse (2) ETL Analisi statistico/semantica Interfaccia utente

10 Architettura SAS - cloud % di utilizzo 33% Analisi statistico/semantica ETL % di utilizzo 100% Interfaccia utente SocialBI Analysis

11 Architettura SyNTHEMA - InHouse ETL Analisi statisticosemantica Interfaccia utente + Data Warehouse SocialBI Analysis

12 Architettura SyNTHEMA - cloud % di utilizzo 33% ETL Analisi statistico/semantica % di utilizzo 100% Interfaccia utente + Data Warehouse

13 SyNTHEMA SAS Comparazione Costi InHouse Cloud 13

14 SyNTHEMA SAS Comparazione Costi InHouse Cloud 14

15 Costi HW in House SAS Le principali caratteristiche dei server sono state fornite in precedenza. Altre scelte sono state basate sulle caratteristiche dell applicazione Gestione di grandi quantità di dati e necessità di velocità di accesso a disco Dischi a stato solido (molto costosi) Dischi veloci SAS rpm RAID con data striping Necessità di robustezza RAID con mirroring o parity Alimentatore hot swap Server hot swap (molto costoso) Verificare i costi su 15

16 Costi HW in House SAS Le principali caratteristiche dei server sono state fornite in precedenza. Altre scelte sono state basate sulle caratteristiche dell applicazione Gestione di grandi quantità di dati e necessità di velocità di Con n dischi capacità k byte si ottiene una capacità di accesso a disco (n-1) x k byte Dischi a stato solido (molto costosi) Dischi veloci SAS rpm RAID con data striping Necessità di robustezza RAID con mirroring o parity Alimentatore hot swap Server hot swap (molto costoso) Verificare i costi su La configurazione RAID 5 gestisce striping e parità. 16

17 Costi HW in House SAS Verificare i costi per la seguente configurazione Caratteristica Descrizione Note Costo Processore 2 x AMD Opteron 6370P (2.00 GHz, 16 MB cache, SixteenCore, TurboCore up to 2.50 GHz, AMD-V 2,0) Si è scelto di utilizzare una sola macchina con 32 processori invece di 2 con 16 processori al fine di un miglior utilizzo delle componenti RAM 256 GB DDR3-RAM (16x Kingston DIMM 16 GB PC ECC Reg.) Hard Drive 4 x 900 GB HGST UltraStar C10K1800 Enterprise SAS (2.5'', 128 MB cache, 10,520 rpm, SAS 12Gb/s) RAID Controller Adaptec SAS 12Gb/s; RAID Level 0, 1, 1E, 5, 6, 10, 50, 60; max. 4 HDDs; 1024 MB Cache Power supply High-efficiency 500W power supply Network adapter Intel 10 Gbit Ethernet Network Adapter X550-T2 Garanzia 36 mesi Totale La configurazione con 4 dischi permette di realizzare sia data striping che mirroring. 17

18 Costi HW in House SAS Verificare i costi per la seguente configurazione Caratteristica Descrizione Note Costo Processore 2 x AMD Opteron 6370P (2.00 GHz, 16 MB cache, SixteenCore, TurboCore up to 2.50 GHz, AMD-V 2,0) Si è scelto di utilizzare una sola macchina con 32 processori invece di 2 con 16 processori al fine di un miglior utilizzo delle componenti RAM 256 GB DDR3-RAM (16x Kingston DIMM 16 GB PC ECC Reg.) Hard Drive 4 x 900 GB HGST UltraStar C10K1800 Enterprise SAS (2.5'', 128 MB cache, 10,520 rpm, SAS 12Gb/s) RAID Controller Adaptec SAS 12Gb/s; RAID Level 0, 1, 1E, 5, 6, 10, 50, 60; max. 4 HDDs; 1024 MB Cache Power supply High-efficiency 500W power supply Network adapter Intel 10 Gbit Ethernet Network Adapter X550-T2 Garanzia 36 mesi Totale La configurazione con 4 dischi permette di realizzare sia data striping che mirroring. 18

19 SyNTHEMA SAS Comparazione Costi InHouse Cloud 19

20 Costi HW in House SyNTHEMA Verificare i costi per la seguente configurazione Caratteristica Descrizione Note Costo Processore AMD Opteron 6370P (2.00 GHz, 16 MB cache, SixteenCore, TurboCore up to 2.50 GHz, AMD-V 2,0) Si è scelto di utilizzare una sola macchina con 32 processori invece di 2 con 16 processori al fine di un miglior utilizzo delle componenti RAM 128 GB DDR3-RAM (8x Kingston DIMM 16 GB PC ECC Reg.) Hard Drive 4 x 600 GB HGST UltraStar C10K1800 Enterprise SAS (2.5'', 128 MB cache, 10,520 rpm, SAS 12Gb/s) RAID Controller Adaptec SAS 12Gb/s; RAID Level 0, 1, 1E, 5, 6, 10, 50, 60; max. 4 HDDs; 1024 MB Cache Power supply High-efficiency 500W power supply Network adapter Intel 10 Gbit Ethernet Network Adapter X550-T2 Garanzia 36 mesi Totale La configurazione con 4 dischi permette di realizzare sia data striping che mirroring. 20

21 Costi HW in House SyNTHEMA Verificare i costi per la seguente configurazione Caratteristica Descrizione Note Costo Processore AMD Opteron 6370P (2.00 GHz, 16 MB cache, SixteenCore, TurboCore up to 2.50 GHz, AMD-V 2,0) Si è scelto di utilizzare una sola macchina con 32 processori invece di 2 con 16 processori al fine di un miglior utilizzo delle componenti RAM 128 GB DDR3-RAM (8x Kingston DIMM 16 GB PC ECC Reg.) Hard Drive 4 x 600 GB HGST UltraStar C10K1800 Enterprise SAS (2.5'', 128 MB cache, 10,520 rpm, SAS 12Gb/s) RAID Controller Adaptec SAS 12Gb/s; RAID Level 0, 1, 1E, 5, 6, 10, 50, 60; max. 4 HDDs; 1024 MB Cache Power supply High-efficiency 500W power supply Network adapter Intel 10 Gbit Ethernet Network Adapter X550-T2 Garanzia 36 mesi Totale La configurazione con 4 dischi permette di realizzare sia data striping che mirroring. 21

22 SyNTHEMA SAS Comparazione Costi InHouse Cloud 22

23 Amazon Calculator Pannello gestione servizi & Costo calcolato Selezione Region Elenco servizi AWS Pannelli di configurazione preferenze d uso dei servizi Google Amazon Web Services Simple Monthly Calculator 23

24 Amazon Web Services - Servizi 24

25 Amazon Web Services - Servizi Elaborazione EC2 (Elastic Compute Cloud) Server Virtuali Storage S3 (Simple Storage Service) Sistema di memorizzazione di oggetti EDBS (Elastic Block Storage) Hdd virtuali usati dai server EC2 DBMS RDS (Relational Database Service) Web Service per la gestione di db relazionali cloud DynamoDB Web Service per la gestione di db non relazionali cloud Data Warehouse Red Shift Web Service di Data Warehouse cloud Integrabile coi più diffisi frontend di analisi (Oracle OBIEE, MicroStrategy, Jaspersfot, 25