Composizione e orchestrazione di contenitori Docker

Транскрипт

1 Luca Cabibbo Architettura dei Sistemi Software Composizione e orchestrazione di contenitori Docker dispensa asw650 marzo 2017 Containers are almost becoming synonymous to Docker. Dinesh Subhraveti 1 - Fonti Docker 2

2 Obiettivi - Obiettivi e argomenti introdurre la composizione e l orchestrazione di contenitori, nel contesto di Docker Argomenti introduzione composizione di contenitori orchestrazione di contenitori discussione 3 * Introduzione In una precedente dispensa abbiamo discusso Docker come piattaforma per la gestione di contenitori e di immagini di contenitori, e del loro ciclo di vita in questa dispensa ci concentriamo sull uso dei contenitori per l esecuzione di sistemi software distribuiti realizzati da uno o più componenti o servizi 4

3 Esempio: l applicazione lucky-word Come primo esempio, ecco il Dockerfile per la semplice applicazione monolitica lucky-word presentata nella dispensa su Spring Boot utilizza un OS preconfigurato con Oracle JDK ipotizziamo che il jar dell applicazione sia stato già costruito # Dockerfile for the lucky-word application FROM frolvlad/alpine-oraclejdk8 # Install the application binary ADD build/libs/lucky-word snapshot.jar lucky-word.jar EXPOSE 8080 # Launch the Java application ENTRYPOINT ["/usr/bin/java", "-Xmx128m", "-Xms128m"] CMD ["-jar", "-Dspring.profiles.active=english", "lucky-word.jar"] 5 Esempio: l applicazione lucky-word Questo è lo script per la creazione e l avvio di un contenitore per l esecuzione dell applicazione lucky-word #!/bin/bash # crea l immagine del contenitore docker build --rm -t lucky-word-img. # il profilo di default è quello inglese docker run -p 8080:8080 lucky-word-img # oppure, per eseguire l applicazione con il profilo italiano # docker run -p 8080:8080 lucky-word-img # -jar -Dspring.profiles.active=italian lucky-word.jar 6

4 Composizione e orchestrazione di contenitori Finora (dispensa su Docker e ultimo esempio) abbiamo discusso la gestione di contenitori individuali ovvero, l esecuzione di un applicazione monolitica in un singolo contenitore la composizione di contenitori è la possibilità di definire ed eseguire applicazioni multi-servizi e multi-contenitore ciascun contenitore viene utilizzato per eseguire un diverso servizio l intera applicazione è definita dalla composizione di questi servizi, tra loro distribuiti inoltre, l orchestrazione di contenitori riguarda l esecuzione di applicazioni multi-servizi e multi-contenitore su più (molti) nodi le funzionalità di base di Docker Engine esaminate finora consentono di gestire le forme più semplici di composizione le applicazioni multi-contenitore e distribuite su più nodi possono essere gestite mediante funzionalità aggiuntive di Docker Engine e/o altri strumenti dell ecosistema di Docker 7 * Composizione di contenitori La composizione di contenitori è la possibilità di definire ed eseguire applicazioni multi-contenitore come esempio, consideriamo il servizio sentence per generare frasi in modo casuale come presentata nella dispensa su Spring Cloud che utilizza degli ulteriori servizi per generare parole di tipo diverso (subject, verb e object), nonché un servizio di discovery eureka e un gateway zuul subject zuul sentence verb object eureka 8

5 - Composizione di contenitori con Docker Le funzionalità di base di Docker consentono di gestire i casi di composizione più semplici in cui ci sono diversi tipi di contenitori (servizi), ciascuno con un numero prefissato di istanze vediamo come realizzare il servizio sentence per generare frasi usando le funzionalità di base di Docker subject zuul sentence verb object eureka 9 Esempio Per realizzare il servizio sentence per generare frasi insieme ai servizi aggiuntivi subject, verb, object, eureka e zuul possiamo utilizzare immagini diverse per i servizi sentence, word, eureka e zuul uno o più contenitori per il servizio sentence per affidabilità e scalabilità uno o più contenitori per ciascuno dei servizi subject, verb e object tutti basati sull immagine per il servizio word ulteriori contenitori per eureka e zuul il collegamento in rete tramite una rete definita dall utente eureka-net in particolare, questa rete consente ai diversi contenitori di vedere il servizio eureka su un nodo di nome eureka inoltre la porta 8080 di zuul va esposta sull host 10

6 Esempio Come esempio, questo è il Dockerfile per il servizio word l applicazione Spring per il servizio word viene associata ad una porta nota (del contenitore, non dell host) ad esempio, 8080 # Dockerfile per il servizio word FROM frolvlad/alpine-oraclejdk8 ADD build/libs/word snapshot.jar word.jar EXPOSE 8080 ENTRYPOINT ["/usr/bin/java", "-Xmx128m", "-Xms128m"] CMD ["-jar", "word.jar"] i Dockerfile per gli altri servizi sono simili 11 Esempio Questo è uno script di creazione delle immagini Docker per l applicazione sentence #!/bin/bash docker build --rm -t eureka-server-img./eureka-server docker build --rm -t word-img./word-service docker build --rm -t sentence-img./sentence-service docker build --rm -t zuul-img./zuul 12

7 Esempio Questo è lo script per la creazione e l avvio dei contenitori per l intera applicazione nonché della rete usata per collegarsi al servizio di discovery eureka #!/bin/bash docker network create eureka-net docker run -d --network=eureka-net --name=eureka eureka-server-img docker run -d --network=eureka-net --name=subject word-img -jar -Dspring.profiles.active=subject word.jar docker run -d --network=eureka-net --name=verb word-img -jar -Dspring.profiles.active=verb word.jar docker run -d --network=eureka-net --name=object word-img -jar -Dspring.profiles.active=object word.jar docker run -d --network=eureka-net --name=sentence-1 sentence-img docker run -d --network=eureka-net --name=sentence-2 sentence-img docker run -d --network=eureka-net -p 8080: name=zuul zuul-img 13 - Composizione con Docker Compose Docker Compose è uno strumento per definire ed eseguire applicazioni Docker composte da più contenitori Docker Compose è basato sull utilizzo di un file di configurazione docker-compose.yml per specificare i servizi che compongono un applicazione dopo di che, le immagini per i contenitori dell applicazione si possono costruire con un singolo comando docker-compose build poi si può avviare l applicazione (creando e avviando i suoi contenitori) con il comando docker-compose up infine, l applicazione può essere arrestata con il comando docker-compose down 14

8 Servizi In Compose, un applicazione è composta da uno o più servizi un servizio corrisponde intuitivamente a un contenitore dedicato all esecuzione di un servizio applicativo ad es., di un microservizio in un applicazione a microservizi per ciascun servizio, nel file docker-compose.yml vanno specificati l immagine per il contenitore il comando da eseguire nel contenitore ulteriori informazioni e vincoli aggiuntivi 15 Esempio Ecco la struttura (parziale) delle cartelle per l applicazione di esempio sentence per generare frasi in modo casuale +--- docker-compose.yml +--- eureka-server/ +--- Dockerfile +--- build.gradle +--- src/ \--- build/ sentence-service/ word-service/ \--- zuul/

9 Esempio Ecco il file docker-compose.yml per l applicazione di esempio sentence per generare frasi in modo casuale version: '2' services: eureka: build: context:./eureka-server container_name: eureka subject: build: context:./word-service command: ["-jar", "-Dspring.profiles.active=subject", "word.jar"] verb: build: context:./word-service command: ["-jar", "-Dspring.profiles.active=verb", "word.jar"]... segue Esempio Ecco il file docker-compose.yml per l applicazione di esempio sentence per generare frasi in modo casuale object: build: context:./word-service command: ["-jar", "-Dspring.profiles.active=object", "word.jar"] sentence: build: context:./sentence-service zuul: build: context:./zuul container_name: zuul ports: - "8080:8080" 18

10 Ulteriori osservazioni Alcune ulteriori osservazioni su Docker Compose Compose definisce automaticamente una singola rete dedicata all applicazione tutti i suoi servizi/contenitori sono collegati a questa rete, e possono comunicare tramite il nome del servizio è anche possibile definire altre reti e topologie di rete complesse in questo modo, un host può ospitare più ambienti isolati, ciascuno dedicato ad una diversa applicazione è anche possibile avere più copie di una stessa applicazione (in ambienti separati e isolati) 19 Ulteriori osservazioni Alcune ulteriori osservazioni su Docker Compose Compose consente anche la gestione di volumi evita di ripetere la creazione di immagini già create ed aggiornate consente anche di definire più configurazioni di una stessa applicazione mediante meccanismi di estensione dei file di configurazione e l uso di variabili Docker Compose può essere usato, oggi, per il rilascio in produzione di un applicazione anche con più istanze (contenitori) per ciascun servizio, rilasciate anche su più host torneremo su questo aspetto più avanti inizialmente, invece, Compose era adatto solo per supportare lo sviluppo e il test poiché consentiva solo il rilascio di tutti i servizi di un applicazione in un singolo host 20

11 * Orchestrazione di contenitori L orchestrazione di contenitori riguarda la definizione e l esecuzione di applicazioni multi-contenitore su più (molti) nodi l orchestrazione di contenitori è necessaria per eseguire un applicazione multi-contenitore in un cluster, in modo scalabile ed affidabile il che è di solito richiesto per rilasciare le applicazioni in produzione 21 - Docker in modalità swarm Docker può essere utilizzato, in produzione, nella cosiddetta modalità swarm (letteralmente, sciame) uno swarm è un cluster di nodi Docker (ovvero, di host che eseguono Docker Engine) la modalità swarm fornisce l orchestrazione di contenitori consente di specificare applicazioni multi-servizi e multicontenitore e di eseguirle su più nodi Docker può essere utilizzato, dalla linea di comando, per creare e configurare uno swarm, rilasciare applicazioni nello swarm e gestire il comportamento dello swarm in pratica, i diversi contenitori necessari per un applicazione vengono rilasciati ed eseguiti in nodi diversi dello swarm Docker Engine fornisce la modalità swarm in modo nativo da luglio 2016 (versione 1.12) in precedenza veniva utilizzato uno strumento (separato) chiamato Docker Swarm 22

12 Docker in modalità swarm Caratteristiche principali della modalità swarm gestione di un cluster swarm integrata con Docker Engine, utilizzando lo stesso client utilizzo di un modello dichiarativo per i servizi, che estende quello di Docker Compose ad esempio, supporta la scalabilità dei servizi, sulla base della specifica di quante repliche (contenitori) vanno allocati per ciascun servizio gestione dell affidabilità il cluster swarm effettua il monitoraggio continuo dei nodi e dei servizi, con la possibilità di ricreare automaticamente le repliche dei servizi che falliscono è possibile configurare un overlay network per i servizi, per consentire la loro comunicazione in rete nello swarm servizi di supporto per service discovery e load balancing supporto per l aggiornamento incrementale dei servizi nei nodi dello swarm 23 Concetti della modalità swarm I concetti principali della modalità swarm uno swarm è un cluster di nodi Docker Engine (basato su SwarmKit), dove è possibile rilasciare e orchestrare servizi un nodo è un istanza di Docker Engine che partecipa a uno swarm i nodi swarm possono essere distribuiti su più macchine fisiche, virtuali o sul cloud 24

13 Concetti della modalità swarm I concetti principali della modalità swarm un servizio è la definizione di un compito da eseguire nello swarm i servizi costituiscono la nozione centrale usata dagli utenti (amministratori) per interagire con lo swarm ciascun servizio viene specificato in termini di un contenitore e dei comandi da eseguire nel contenitore un compito (task) è un istanza di un contenitore per un servizio l esecuzione di un servizio è basata sull esecuzione di un certo numero di compiti per quel servizio tanti quante sono le repliche desiderate del servizio (discusse più avanti) i task costituiscono l unità atomica di schedulazione nello swarm 25 Concetti della modalità swarm 26 I concetti principali della modalità swarm ci sono due tipi di nodi i nodi manager ricevono (dagli utenti) richieste di rilascio di servizi che gestiscono schedulando task ai nodi worker i nodi worker ricevono (dai nodi manager) richieste di task e li eseguono in un cluster ci possono essere più nodi worker (per disponibilità e scalabilità) più nodi manager (per disponibilità) di cui un leader (con una rielezione automatica, in caso di un suo fallimento) inoltre i nodi manager si occupano della gestione del cluster e dei suoi nodi per default, i nodi manager svolgono anche il ruolo di worker anche se è possibile configurarli perché agiscano esclusivamente come manager

14 Concetti della modalità swarm I concetti principali della modalità swarm ci sono due tipi di servizi servizi replicati per cui lo swarm deve allocare un numero configurabile di repliche del task corrispondente servizi globali con un task per ciascun nodo le responsabilità di orchestrazione dei nodi manager comprendono la gestione dello stato desiderato dei servizi per fare in modo che nello swarm venga eseguito il numero desiderato di task per ciascun servizio, anche a seguito dell eventuale fallimento di contenitori e nodi i nodi manager effettuano il monitoraggio dei contenitori e dei nodi, e se serve rischedulano i task falliti su altri nodi 27 Concetti della modalità swarm I concetti principali della modalità swarm bilanciamento del carico è possibile (e semplice) esporre all esterno di uno swarm le porte per i servizi in esecuzione nello swarm ogni nodo dello swarm è infatti in grado di accettare richieste sulle porte pubblicate per ciascuno dei servizi dello swarm ( ingress routing mesh ) anche se quel nodo non ha task (contenitori) corrispondenti a quel servizio quando un client fa una richiesta per un servizio (a un qualunque nodo dello swarm), il load balancer dello swarm gira la richiesta a una replica attiva per quel servizio in questo modo, qualunque componente esterno (come ad es., un load balancer per il cloud) può accedere ai servizi dello swarm, sulle loro porte pubblicate, a partire da qualunque nodo dello swarm 28

15 - Orchestrazione in uno swarm L orchestrazione di contenitori usando Docker nella modalità swarm è simile alla composizione con Docker Compose ma ci sono alcune differenze nei casi più semplici, è possibile creare servizi da eseguire in uno swarm usando il comando docker service create (discusso più avanti) più in generale, la composizione di un applicazione può essere espressa come uno stack, che è l insieme dei servizi che costituisce un applicazione la specifica di uno stack va descritta in un file YAML ad esempio di nome docker-stack.yml la struttura di questo file è simile a quella di un file dockercompose.yml ma ciascuno dei due tipi di file ha delle caratteristiche esclusive 29 Orchestrazione in uno swarm In particolare, nella specifica di uno stack allo stack viene automaticamente assegnata una rete usata per collegare i contenitori dello stack dunque non è necessario creare esplicitamente una rete per l applicazione nel file di specifica dello stack bisogna far riferimento a delle immagini Docker in un registry (che deve essere accessibile da tutti i nodi dello swarm) non è invece possibile far riferimento a dei Dockerfile, come per Docker Compose per questo, è possibile far riferimento a Docker Hub oppure è possibile gestire nello swarm un servizio per il proprio registry privato (discusso più avanti) ci sono delle opzioni aggiuntive per il rilascio e la scalabilità dei servizi dell applicazione 30

16 Registry per lo swarm Dopo aver creato e configurato uno swarm, è possibile eseguire al suo interno alcuni servizi e/o alcuni stack i servizi più semplici possono essere gestiti mediante i comandi docker service ad es., docker service create avvia un servizio nello swarm ad es., possiamo lanciare un servizio per un registry privato docker service create --name registry --publish 5000:5000 registry:2 i contenitori per i task associati al servizio vengono allocati nei nodi dello swarm in questo esempio, il servizio di registry viene collegato alla porta 5000 di ciascun nodo dello swarm in ogni nodo dello swarm, il servizio di registry sarà accessibile su localhost: Immagini per i servizi dell applicazione Questo script ha lo scopo di costruire le immagini Docker per l applicazione sentence e di registrarle presso il servizio di registry locale #!/bin/bash docker build --rm -t localhost:5000/eureka-server-img./eureka-server docker build --rm -t localhost:5000/word-img./word-service docker build --rm -t localhost:5000/sentence-img./sentence-service docker build --rm -t localhost:5000/sentence-zuul-img./zuul docker push localhost:5000/eureka-server-img docker push localhost:5000/word-img docker push localhost:5000/sentence-img docker push localhost:5000/sentence-zuul-img 32

17 Composizione con uno stack Ecco il file docker-stack.yml per l applicazione di esempio sentence per generare frasi in modo casuale version: '3' services: eureka: image: localhost:5000/eureka-server-img deploy: placement: constraints: [node.role == manager] subject: image: localhost:5000/word-img command: ["-jar", "-Dspring.profiles.active=subject", "word.jar"] depends_on: - "eureka" deploy: mode: replicated replicas: 1... segue Composizione con uno stack Ecco il file docker-stack.yml per l applicazione di esempio sentence per generare frasi in modo casuale verb:... simile a subject... object:... simile a subject... sentence: image: localhost:5000/sentence-img depends_on: - "eureka" deploy: mode: replicated replicas: 2 zuul: image: localhost:5000/sentence-zuul-img depends_on: - "eureka" ports: - "8080:8080" 34

18 Composizione con uno stack Il file docker-stack.yml specifica i servizi che compongono l applicazione sentence lo stack può essere avviato con il comando docker stack deploy --compose-file docker-stack.yml sentence è anche possibile monitorare lo stato dell applicazione e dei servizi che la compongono docker stack ps sentence docker stack services sentence docker service ps sentence_subject è anche possibile scalare i servizi che compongono lo stack docker service scale sentence_subject=3 35 Discussione L applicazione sentence può essere semplificata, rimuovendo l uso del servizio di service discovery Eureka che, in uno swarm, non è più strettamente necessario ad esempio, il servizio subject è accessibile agli altri servizi all URL (viene usato un DNS immerso nello swarm) richieste a questo indirizzo vengono prese in carico dallo swarm e reindirizzate ad un contenitore opportuno tuttavia, l uso di Eureka è opportuno se si vuole usare anche Zuul come API Gateway infatti, è possibile usare Zuul senza Eureka, ma con una configurazione statica dei servizi da accedere tramite Zuul i servizi vanno elencati esplicitamente, uno per uno al momento, infatti, sembra che le funzionalità di service discovery usate nello swarm non siano accessibili ai servizi rilasciati nello swarm (più precisamente, non sono accessibili in modo semplificato utilizzando Spring) 36

19 - Aggiornamento incrementale di servizi Docker, in modalità swarm, supporta l aggiornamento incrementale (rolling update) dei servizi in esecuzione è possibile chiedere l aggiornamento di un servizio in esecuzione nello swarm specificando la nuova immagine su cui deve essere basato il servizio l aggiornamento viene effettuato arrestando i task (contenitori) per il servizio, aggiornando i task e poi riavviandoli in caso di problemi, è possibile effettuare il rollback ad una versione precedente ad esempio, avvio di un servizio docker service create --replicas 3 --name redis redis:3.0.6 aggiornamento del servizio docker service update --image redis:3.0.7 redis 37 - Altri strumenti di orchestrazione Oltre agli strumenti nativi per Docker, esistono altri strumenti per l orchestrazione di contenitori Docker tra cui Amazon EC2 Container Service (Amazon ECS) is a highly scalable, fast, container management service that makes it easy to run, stop, and manage Docker containers on a cluster of Amazon EC2 instances Google Container Engine is a powerful cluster manager and orchestration system for running your Docker containers Kubernetes (by Google) is an open-source system for automating deployment, scaling, and management of containerized applications Apache Mesos provides applications (e.g., Hadoop, Spark, Kafka, Elasticsearch, and Docker) with API s for resource management and scheduling across entire datacenter and cloud environments 38

20 * Discussione La composizione e, soprattutto, l orchestrazione di contenitori sono funzionalità fondamentali per poter rilasciare in produzione le applicazioni multi-servizi e multi-contenitore in un singolo nodo oppure in un cluster di nodi on premises oppure sul cloud la composizione e l orchestrazione di contenitori sostengono infatti la disponibilità e la scalabilità delle applicazioni di questo tipo e consentono di sfruttare l elasticità delle piattaforme virtualizzate e sul cloud per questo, i contenitori sono diventati una tecnologia abilitante per le applicazioni altamente scalabili di solito realizzate come applicazioni a microservizi anche per questo, la piattaforma Docker si è imposta molto rapidamente come tecnologia di riferimento per i contenitori 39