CLOUD AWS. #cloudaws. Community - Cloud AWS su Google+ Amazon Web Services. Panoramica sui servizi

Transcript

1 Community - Cloud AWS su Google+ Amazon Web Services Panoramica sui servizi In questo hangout vedremo una panoramica generale di tutti i servizi presenti in amazon web services. Hangout 02 del Davide Riboldi Massimo Della Rovere cloud-aws.com #cloudaws CLOUD AWS

2 Amazon Web Services - Servizi disponibili In questa presentazione faremo una piccola panoramica sui 26 servizi presenti su Amazon Web Services, suddivisi in sei gruppi principali. Compute & Networking Storage & CDN Sviluppo & Gestione Application Services Database SQL/NoSQL Analytics Per ogni servizio AWS faremo un hangout dedicato, escludendo il servizio EC2 che necessità sicuramente di più incontri per essere affrontato in maniera dettagliata.

3 Amazon Web Services - Servizi disponibili Compute & Networking Storage & CDN Database Sviluppo & Gestione Applicazioni EC2 S3 DynamoDB CloudFormation SES Route 53 Cloudfront RDS CloudWatch SNS VPC Glacier ElastiCache Elastic Beanstalk SQS Direct Connect Storage Gateway Redshift IAM SWF Analytics OpsWorks Elastic Transcoder MapReduce CloudTrail CloudSearch Data Pipeline

4 Amazon Web Services - Compute & Networking Servizio Pagina ufficiale Guida EC2 Route VPC Direct Connect

5 Amazon Web Services - EC2 Un servizio web che fornisce capacità di elaborazione dati. Amazon EC2 fornisce tramite la virtualizzazione la possibilità di scegliere tra diversi sistemi operativi. Il servizio EC2 può essere gestito tramite una console web o tramite la gestione delle API. Si possono eseguire operazioni di avvio, termine e chiusura. Amazon EC2 mette a disposizione una serie di servizi avanzati per la nostra istanza, come ad esempio il bilanciamento del traffico, il disaster recovery, etc, ect.

6 Amazon Web Services - EC2 (esempio) micro $ small $ medium $ large $ altre $ aws.amazon.com/ec2/pricing/ ELASTIC IP FIREWALL LOAD BALANCER SPOT/RESERVED ELASTIC BLOCK STORE Istanze

7 Amazon Web Services - Route 53 Un servizio DNS ad alta disponibilità e scalabilità progettato per integrarsi con i servizi AWS come ad esempio EC2, S3, CloudFront etc. Con questo servizio potete gestire un numero illimitato di domini ed usare anche delle feature avanzate di load balancing come Weighted Resource Record Sets. Essendo un servizio completo di DNS è possibile utilizzare Route 53 per la risoluzione DNS di indirizzamenti e servizi esterni agli AWS.

8 Amazon Web Services - Route 53 (esempio) DNS Resolver Request Route 53 Edge Location Load Balancer

9 Amazon Web Services - VPC Amazon VPC (Virtual Private Cloud) mette a disposizione una sezione isolata all interno di AWS dove è possibile lanciare risorse AWS in una rete virtuale privata. Pieno controllo della rete virtuale. E possibile scegliere il proprio range di indirizzamento, le sottoreti, la configurazione delle tabelle di routing e i gateway. E possibile mettere in comunicazione la rete VPC con la propria rete aziendale attraverso una VPN utilizzando gli standard ipsec. Come avviene dall esterno dell azienda.

10 Amazon Web Services - VPC (esempio) Azienda VPN Connection VPN Gateway EC2 Instances

11 Amazon Web Services - Direct Connect Per le aziende che necessitano di un collegamento sicuro è possibile tramite questo servizio creare una linea diretta tra l azienda e il data center di Amazon. Uno dei punti deboli è il collegamento, infatti i servizi AWS vengono apprezzati sulle risorse pubbliche mentre sono più problematici in quelle private con VPN. Sono messe a disposizione diverse tipologie di collegamento con differenti velocità, i costi dipendono dalla regione geografica e dalle caratteristiche.

12 Amazon Web Services - Direct Connect (esempio) Direct Connect Azienda Sicurezza Flessibilità Performance Scalabilità

13 Amazon Web Services - Storage & CDN Servizio Pagina ufficiale Guida S3 Cloudfront Glacier Storage Gateway

14 Amazon Web Services - S3 S3 è un servizio di storage online dove è possibile memorizzare e recuperare grandi quantità di dati, in qualsiasi momento e da qualsiasi punto del web. Questo servizio può essere utilizzato anche come backup, sia per servizi AWS come ad esempio EC2, ma anche per server aziendali e postazioni personali. S3 mette a dispozione anche funzionalità avanzate come pubblicazione di siti statici, gestione delle revisioni, utility a linea di comando e autorizzazioni.

15 Amazon Web Services - S3 (esempio) postazione risorse statiche S3 S3 pagina web CSS image ect web statico S3

16 Amazon Web Services - Cloudfront CloudFront è un servizio web per la distribuzione di contenuti statici o in streaming (nel caso di file video) ad alta velocità e con bassa latenza. Per la configurazione basta associare la risorsa che abbiamo su S3 a CloudFront e automaticamente questa sarà replicata nei edge point sparsi nel mondo. La replica è l aggiornamento delle risorse statiche che vengono modificate viene gestito automaticamente da Amazon senza dover eseguire operazioni aggiuntive.

17 Amazon Web Services - Cloudfront (esempio) Internet Route 53 s re f re esempio.com/img.jpg bucket S3 h write

18 Amazon Web Services - Glacier Glacier è un servizio di storage online a basso costo sempre basato su S3 e offre spazio di storage sicuro e durevole per l'archiviazione dati di backup. Glacier è ottimizzato per dati che vengono letti raramente e per il quale i tempi di recupero più elevati non costituiscono nessun problema. Il caricamento, il download e la cancellazione richiedono programmazione. Amazon Glacier è supportato da AWS SDK Java,.NET, PHP e Python.

19 Amazon Web Services - Glacier (esempio) 1 Management Console AWS 2 Creazione Sicurezza Notifiche Upload archivio di backup Download archivio di backup da 3.5 a 4.5 ore dopo la richiesta 3 Richiesta Esecuzione Download

20 Amazon Web Services - Storage Gateway AWS Storage gateway è un servizio di connessione tra il proprio datacenter e il cloud di Amazon che permette la sincronizzazione automatica delle unità disco. Se si dovesse rompere qualche disco locale, possiamo ripristinarlo velocemente da Amazon S3 e riavviare il sistema al suo funzionamento normale. Se invece dovessimo avere un guasto generale che non ci permette una ripartenza immedita, possiamo avviare delle istanze EC2 e ripristinare le snapshot.

21 Amazon Web Services - Storage Gateway (esempio) Datacenter S3 SSL Storage gateway VM AWS Storage Gateway EBS + EC2

22 Amazon Web Services - Database Servizio Pagina ufficiale Guida DynamoDB RDS ElastiCache Redshift

23 Amazon Web Services - DynamoDB Gestione completa di un database NoSQL in cloud. Un binomio eccezionale per la scalabilità e l eliminazione di alcuni limiti presenti nei database relazionali. Questo servizio nasce dopo 15 anni di esperienza con SimpleDB e Dynamo usati dal sito amazon.com, i quali avevano dei limiti sulla dimensione del dataset. Il servizio di DynamoDB non avrà limiti di dimensione legati al dataset. Il servizio ci svincola anche dalle problematiche di backup e recovery.

24 Amazon Web Services - DynamoDB (esempio)

25 Amazon Web Services - RDS Relational Database Service: Un servizio web per la gestione di un database relazionale direttamente nel cloud da integrare con gli altri servizi AWS. Semplificazione delle attività di backup, scalabilità e patching. Al momento i database SQL disponibili sono (MySQL, Postgres, Oracle e Microsoft SQL Server). Con questa tecnica non saremo costretti ad installare un software di database sulle nostre istanze virtuali, liberandole anche dal carico di lavoro richiesto.

26 Amazon Web Services - RDS (esempio) Load Balancer EC2 ZONA A Richiesta della pagina web EC2 EC2 EC2 ZONA B Internet

27 Amazon Web Services - ElastiCache Gestione semplificata di un cluster di caching RAM. Questo servizio supporta due motori di cache opensource: Memcached, Redis. ElasticCache migliora le prestazioni delle applicazioni, recuperano i dati dalla cache gestita in memoria invece di basarsi sempre sui database residenti sul disco. Su AWS questa gestione diventa molto semplice e incredibilmente scalabile. Si possono generare con pochi click server di cache con oltre 200G di RAM.

28 Amazon Web Services - ElastiCache (esempio) Richiesta della pagina web EC2 Internet EC2

29 Amazon Web Services - Redshift Con questo servizio possiamo crearci in pochissimi minuti un sistema di data warehouse ed eseguire tutte le query SQL di database che necessitiamo. Con Redshift si possono abbattere tutti i costi iniziali di un sistema data warehouse ed evitare tutte le complessità legate a questa tipologia di soluzione. Utilizzando Redshift possiamo pensare solo alla gestione dei dati e non preoccuparci della complessità legata alla struttura hardware necessaria.

30 Amazon Web Services - Redshift (esempio)

31 Amazon Web Services - Sviluppo & Gestione Servizio Pagina ufficiale Guida CloudFormation CloudWatch Elastic Beanstalk IAM OpsWorks CloudTrail

32 Amazon Web Services - CloudFormation Con il servizio CloudFormation è possibile creare dei template per la creazione di configurazioni predefinite che possono essere avviate senza passaggi manuali. Potremmo preparare una template che configuri la partenza di una istanza con uno specifico OS, elenco di software da installare e avvio dei servizi richiesti. Sul sito ufficiale si trovano anche template già pronti per le configurazioni più comuni, ad esempio sono presenti template per WordPress, Joomla e Drupal.

33 EC2 EC2 EC2 EC2 RDS RDS Te m pl at e Amazon Web Services - CloudFormation (esempio) Cloud Formation

34 Amazon Web Services - CloudWatch Uno degli aspetti fondamentali da tenere sotto controllo dopo aver sviluppato un applicazione è quella di controllare le performance tramite un monitoring. Amazon CloudWatch è la soluzione di monitoring e allarmistica di AWS. L utilizzo di Simple Notification Service (SNS) permette l invio degli allarmi. Le metriche presenti in CloudWatch posso anche essere usate per le funzioni di auto scaling o essere considerate tramite degli script personalizzati.

35 Amazon Web Services - CloudWatch Cloudwatch Allarmi RISORSE AWS METRICHE CUSTOM DATA Statistiche

36 Amazon Web Services - Elastic Beanstalk Il servizio EC2 mette a disposizione solo potenza computazionale, la quale una volta avviata e configurata può far girare qualsiasi applicazione. Per molti questo si traduce in un inconveniente, perchè bisogna farsi carico di tutte le problematiche legate alla configurazione e all avvio dell istanza virtuale. Elastic Beanstalk permette di caricare l applicazione senza preoccuparsi di altro. I linguaggi supportati sono.net, Java, PHP, Node.js, Python e Ruby.

37 Amazon Web Services - Elastic Beanstalk EDITOR EC2 Instance (1) EC2 Instance (n) application application tomcat tomcat apache apache amazon linux amazon linux LOAD BALANCER AUTO SCALING VERSIONI

38 Amazon Web Services - IAM Identity and Access Management: Tramite questo servizio è possibile gestire in maniera sicura l accesso ai servizi e alle risorse AWS da parte dei propri utenti. Usando IAM è possibile creare e gestire utenti e gruppi in AWS e utilizzare le autorizzazioni per consentire e/o negare gli accessi tramite ruoli e permessi. Il servizio IAM permette anche l integrazione con gli utenti esistenti nella propria rete aziendale, inoltre mette a disposizione una serie di API.

39 Amazon Web Services - IAM S3 ADMIN EC2 IAM

40 Amazon Web Services - OpsWorks OpsWorks è un servizio di gestione delle applicazioni creato per agevolare chi utilizza un modello di sviluppo DevOps, ulteriori info OpsWorks può scalare in maniera automatica l'applicazione e mantenere in salute l'infrastruttura sostituendo automaticamente le istanze che si bloccano. OpsWorks a differenza di Beanstalk offre maggiore flessibilità e controllo, consentendo di personalizzare i tipi di server e servizi che verranno impiegati.

41 Amazon Web Services - OpsWorks A stack is a set of Amazon EC2 instances. AWS resources, and configurations that servers a single purpose. For example, one stack might be used for your staging envronment and another for production. A layer is a blueprint for setting up and configuring a set of instances and related resources such as volumes and Elastic IPs. OpsWorks provides a set o bult-in layers and makes it easy to create custom layers. Simply tell OpsWorks where to find yourcode and define any additional configuration tasks. OpsWorks take care of deploying your app the way you want. Scale your stack based on time or load. Clone your production stack to a different region. Setup user permission and access.

42 Amazon Web Services - CloudTrail AWS CloudTrail è un servizio web che registra tutte le chiamate API degli AWS generate da qualsiasi sorgente come console o applicazioni e scrive dei file di log. Vengono registrate la tipologia delle chiamante, l'ora delle chiamate, l'indirizzo IP di origine, i parametri di richiesta e gli elementi di risposta restituiti dal servizio AWS. Lo storico delle chiamata AWS API prodotto da CloudTrail consente un'analisi completa riguardo la sicurezza e di tracciare il cambiamento delle risorse AWS.

43 Amazon Web Services - CloudTrail Log Analysis Apps AWS Management Console RDS EBS AWS SDK Applications EC2 RedShif t AWS CLI VPC IAM AWS CloudTrail S3 Bucket

44 Amazon Web Services - Application Services Servizio Pagina ufficiale Guida SES SNS SQS SWF Elastic Transcoder CloudSearch

45 Amazon Web Services - SES Simple Service: Questo servizio permette l invio di direttamente tramite l infrastruttura AWS, senza la necessità di server o postazioni dedicate. Questo è sicuramente un servizio dedicato alle aziende che devono fare azioni di Marketing tramite posta elettronica o devono gestire grandi mailing list. Per chi utilizza regolamente il servizio EC2 può usufruire di gratuite al giorno. Utile per gestire tutti gli avvisi a livello sistemistico.

46 Amazon Web Services - SES Amazon SES Console SMTP Interface Amazon SES Amazon SES API

47 Amazon Web Services - SNS Simple Notification Service: Questo servizio è un componente molto importante di AWS e permette la notifica dei messaggi tramite diversi supporti. E stato aggiunto il supporto SMS (per ora solo su numeri di telefono USA) mentre sono attivi da tempo , code dati e messaggistica HTTP/HTTPS. La notifica è molto utile quando si strutturano sistemi in cluster, infatti è possibile ricevere informazioni sullo stato di altri componenti e reagire di conseguenza.

48 Amazon Web Services - SNS APPLICATIONS / JSON CLOUDWATCH HTTPS HTTP WEB SERVERS AMAZON SQS SQS QUEQUE SMS

49 Amazon Web Services - SQS Simple Queue Service: Uno dei primissimi servizi rilasciati da Amazon che permette tramite delle code messaggi presenti su uno o più server la distribuzione delle operazioni e quindi del carico di lavoro. Potremmo avere un server che analizza una pagina web ed inserisce in una coda i riferimenti a tutte le immagini presenti in questa pagina, la coda viene analizzate da una serie di altri server che possono dividersi il lavoro e marcare il messaggio come completato.

50 Amazon Web Services - SQS Response Queue PHOTO PHOTO WEB SERVER PHOTO Request Queue Amazon S3 PHOTO PROCESSING SERVER EC2 Instances PHOTO

51 Amazon Web Services - SWF Simple Workflow Service: Tramite questo servizio è possibile creare un controllore di flusso per coordinare l esecuzione di vari task secondo una logica predefinita. Questa particolarità permette il risparmio sulla scrittura di codice complesso che dovrebbe tenere sotto controllo tutte le fasi di elaborazione di un workflow che però è gestito da diverse macchine. Il servizio di SWF si prende carico di questa complessità e deciderà automaticamente i task da elaborare in base alle singole risposte di ogni singola unità di task. Cloud AWS

52 Amazon Web Services - SWF ORDINE CARTA DI CREDITO PREPARAZIONE MERCE CONFERMA PAGAMENTO CONSEGNA MERCE

53 Amazon Web Services - Elastic Transcoder Amazon Elastic Transcoder è un servizio di transcodifica o conversione di file multimediali audio e video elaborato direttamente in ambiente cloud. Grazie all'utilizzo di questo servizio è possibile sviluppare applicazioni web per poter eseguire in automatico la conversione di file multimediale in diversi formati. Il servizio permette di convertire i file multimediali dal loro formato originale in versioni che possono essere agevolmente visualizzati su smartphone, pc o tablets.

54 Amazon Web Services - Elastic Transcoder

55 Amazon Web Services - CloudSearch Questo servizio permette agli utenti di ricercare contenuti all interno di applicazioni o siti web in modo rapido ed efficace e svincolato dai motori di ricerca. La tecnologia CloudSearch è un servizio molto affidabile in quanto è la stessa utilizzata da amazon.com per le ricerche legate ai suoi prodotti. Utilizzando questo servizio, gli sviluppatori potranno creare un dominio di ricerca e memorizzare tutte le informazioni in un database personale.

56 Amazon Web Services - CloudSearch

57 Amazon Web Services - Analytics Servizio Pagina ufficiale Guida Elastic MapReduce Data Pipeline

58 Amazon Web Services - Elastic MapReduce Amazon Elastic MapReduce è un servizio web che consente alle aziende, ai ricercatori, agli analisti di dati e sviluppatori di elaborare in modo semplice enormi quantità di dati. Amazon EMR utilizza Hadoop, un framework open source che permette di distribuire e processare i dati attraverso un cluster ridimensionabile di istanze EC2. Amazon EMR trova il suo impiego in una grande varietà di applicazioni tra cui: l'analisi dei log, l'indicizzazione web, il data warehousing, machine learning, l'analisi finanziaria, la simulazione scientifica e bioinformatica.

59 Amazon Web Services - Elastic MapReduce Amazon CloudWatch Amazon EC2 Instances Input Data Output Results Amazon S3 Amazon EMR job flow

60 Amazon Web Services - Data Pipeline AWS Data Pipeline è un servizio web che consente di elaborare e movimentare dati tra i diversi servizi AWS e da fonti di dati on-premise a intervalli specifici. Con AWS Data Pipeline è possibile accedere ai propri dati, trasformarli, elaborarli e trasferire poi il risultato ai vari servizi: S3, RDS, DynamoDB o MapReduce (EMR). Con AWS Data Pipeline, è possibile definire flussi di lavoro basati sui dati di modo che le attività dipendano dal completamento delle precedenti attività.

61 Amazon Web Services - Data Pipeline AWS Data Pipeline Daily Task Weekly Task Task: Copy Log Files EC2 Task: Launch Data Analysis S3 EMR

62 Amazon Web Services - Ringraziamenti Video consigliati Cloud Computing Amazon Web Service 1 Amazon Web Service 2 Amazon Free Trial Amazon S3 Amazon Glacier Amazon CloudFront Amazon MFA Amazon SNS