DevOps di applicazioni Python (e non solo) su OpenShift. Francesco Fiore, System Architect PyCon Nove, 20 aprile 2018

Транскрипт

1 DevOps di applicazioni Python (e non solo) su OpenShift Francesco Fiore, System Architect PyCon Nove, 20 aprile 2018

2 Agenda Cos è OpenShift Cenni sull architettura Setup di una semplice applicazione OpenShift per applicazioni Python: source-to-image Dietro le quinte: API objects Parametrizzare il setup di applicazioni usando i Template Git, OpenShift e Jenkins: integrazione nativa per la CI/CD Application lifecycle management Application promotion Strategie di deployment 2

3 OpenShift overview Platform as a Service di Red Hat OpenShift Origin è un progetto opensource Basato su: Kubernetes (CaaS) Docker Atomic Add-on rispetto a k8s API objects Web console Software Defined Network Docker registry logging centralizzato Focus su application lifecycle management e automation Red Hat OpenShift Container Platform 3

4 OpenShift vs Kubernetes Source to Image (S2I) Integrated Registry Build Configuration Image Stream Deployment Configuration Persistent Volume Claims Replication Controller Replica Sets Daemon Sets Persistent Volumes Secrets Config Maps Services Routes Software Defined Network (SDN) Web console Users and Groups Projects Namespaces OpenShift Kubernetes 4

5 OpenShift: architettura 5

6 Setup di una applicazione oc new-project demo oc new-app --context-dir samples/flask --name flask-sample OpenShift rileva automaticamente qual è la strategy di build if Jenkinsfile -> Pipeline strategy elif Dockerfile -> Docker strategy else -> Source strategy Se Source strategy, OpenShift rileva il linguaggio File requirements.txt, setup.py pom.xml app.json, package.json Godeps, main.go cpanfile, index.pl composer.json, index.php Gemfile, Rakefile, config.ru build.sbt Linguaggio python jee nodejs golang perl php ruby scala 6

7 Setup di una applicazione oc new-app --context-dir samples/flask --name flask-sample --env WELCOME_MESSAGE= Hello Pycon9! --build-env HTTP_PROXY= oc new-app python:2.7~ --context-dir samples/flask --name flask-sample-python27 --env WELCOME_MESSAGE= Hello Pycon9! Per esporre l applicazione all esterno (Route) oc expose svc flask-sample 7

8 Source-to-image: Python s2i è la modalità utilizzata con Source strategy Nessuna modifica all applicazione sufficiente requirements.txt 4 modalità di esecuzione Gunicorn se in requirements.txt o in setup.py (install_requires) entrypoint: wsgi.py (wsgi:application) o APP_MODULE Django development server Python script APP_FILE, default app.py Script file APP_SCRIPT, default app.sh 8

9 Setup di una applicazione: API objects BuildConfig Build ImageStream ImageStreamTag DeploymentConfig ReplicationController Service Pod apiversion: v1 kind: BuildConfig metadata: annotations: openshift.io/generated-by: OpenShiftNewApp labels: app: flask-sample name: flask-sample namespace: demo... spec: output: to: kind: ImageStreamTag name: flask-sample:latest source: git: uri: contextdir: samples/flask type: Git strategy: sourcestrategy: from: kind: ImageStreamTag name: python:3.5 namespace: openshift type: Source triggers: - github: secret: iopmuy9undv5grr7z8zv type: GitHub - generic: secret: QOhldIxeE2ciwomAgoY9 type: Generic - type: ConfigChange - type: ImageChange 9

10 Setup di una applicazione: API objects BuildConfig Build ImageStream ImageStreamTag DeploymentConfig ReplicationController Service Pod apiversion: v1 kind: ImageStream metadata: annotations: openshift.io/generated-by: OpenShiftNewApp labels: app: flask-sample name: flask-sample namespace: demo spec: {} status: dockerimagerepository: :5000/demo/flask-sample 10

11 Setup di una applicazione: API objects BuildConfig Build ImageStream ImageStreamTag DeploymentConfig ReplicationController Service Pod apiversion: v1 kind: DeploymentConfig metadata: name: flask-sample namespace: demo spec: replicas: 1 strategy: rollingparams:... type: Rolling template: metadata:... labels: app: flask-sample deploymentconfig: flask-sample spec: containers: - image: flask-sample:latest imagepullpolicy: Always name: flask-sample ports: - containerport: 8080 protocol: TCP dnspolicy: ClusterFirst restartpolicy: Always terminationgraceperiodseconds: 30 triggers: - type: ConfigChange - imagechangeparams: automatic: true containernames: - flask-sample from: kind: ImageStreamTag name: flask-sample:latest namespace: demo type: ImageChange 11

12 Setup di una applicazione: API objects BuildConfig Build ImageStream ImageStreamTag DeploymentConfig ReplicationController Pod Service apiversion: v1 kind: Service metadata: annotations: openshift.io/generated-by: OpenShiftNewApp labels: app: flask-sample name: flask-sample namespace: demo spec: clusterip: ports: - name: 8080-tcp port: 8080 protocol: TCP targetport: 8080 selector: app: flask-sample deploymentconfig: flask-sample type: ClusterIP 12

13 Creare un Template Aggiungere altri API object ConfigMap Secret PersistentVolumeClaim... Personalizzare gli oggetti consumare ConfigMap, Secret, PVC, ecc. creare legami tra componenti applicativi (es. applicazione + database) Parametrizzare gli oggetti Riutilizzare il tutto su project/ambienti diversi per applicazioni diverse 13

14 Usare i Template Creare l applicazione usando il Template oc process f python-flask-sample-s2i.yaml -p APPLICATION_NAME= welcome-app -p SOURCE_REPOSITORY_URL= -p CONTEXT_DIR= samples/flask -p WELCOME_MESSAGE= Hello Pycon9! o yaml oc create f - Inserire un Template «a catalogo» oc n devops create f django-postgresql-persistent.yaml Usare un Template «a catalogo» oc n devops process django-psql-persistent -p NAME= django-app -p SOURCE_REPOSITORY_URL= oc n demo create f - 14

15 Automatizzare con Jenkins BuildConfig possono avere strategy jenkinspipelinestrategy jenkinsfile webhook per il triggering da Git OpenShift si aspetta di trovare una istanza di Jenkins creazione della pipeline in Jenkins creazione di un Build In alternativa, jenkins-ephemeral Jenkins autoconfigurazione al primo deploy puntamenti a Kubernetes provisioning pipeline esistenti openshift jenkins plugin (deprecato da OpenShift 3.7) openshift jenkins client plugin (GA da OpenShift 3.7) Parametrizzare usando Template automatic setup e CI/CD 15

16 Lifecycle management git flow/gitlab flow/... github/generic webhook git push/merge build build applicazione unit test (postcommit) build image setup/update database (pre) deploy applicazione integration test (post) deploy 16

17 Lifecycle management e software promotion git push/merge git flow/gitlab flow/... github/generic webhook build build applicazione unit test (postcommit) build image deploy DEV setup/update database (pre) deploy applicazione functional/integration test (post) deploy STAGING setup/update database (pre) deploy applicazione smoke test (post) deploy PRODUCTION setup/update database (pre) deploy applicazione smoke test (post) 17

18 Rolling deployment Rimpiazzare le istanze della vecchia versione con la nuova readiness check canary deployment rollback automatico builtin in OpenShift quando: no downtime N-1 compatibility lifecycle hooks pre post build git push deploy scale in old rc repeat scaling pre hook scale out new rc post hook 18

19 Recreate deployment Rimpiazzare tutte le istanze della vecchia versione con la nuova readiness check rollback automatico builtin in OpenShift quando: migrazione dati no N-1 compatibility RWO volume downtime lifecycle hooks pre mid post build git push deploy scale in to 0 scale out to N pre hook mid hook post hook 19

20 Blue-green deployment Obiettivo: testing prima dello switch del traffico smoke test integration test 2 versioni dell applicazione production internal (release candidate) internal può essere pubblica o privata 2 service 2 deployment configuration switch gestito da Jenkins alternativa, API manager <public, staging, private> URL N-1 compatibility git push build deploy test go live 20

21 Blue-green deployment Route app.os.local.int app Service app-blue app-green Pod app-blue-1-x app-blue-1-y app-green-2-z app-green-2-k 21

22 Blue-green deployment Route app.os.local.int app Service app-blue app-green Pod app-blue-1-x app-blue-1-y app-green-2-z app-green-2-k oc patch route app p { spec : { to : { name : app-green }}} 22

23 Canary deployment Obiettivo: ridurre il rischio di deploy di una nuova versione come blue/green, ma entrambe versioni online 1 service 2 deployment configuration molteplici shard proxy shard scale out/in deployment configs -> traffic splitter (%) N-1 compatibility gestito da Jenkins git push build deploy go live test scale out/in 23

24 Canary deployment Route Service app.os.local.int app app Pod app1-1-x app1-1-y app1-1-z app2-1-k 24

25 Canary deployment Route Service app.os.local.int app app Pod app1-1-x app1-1-y app2-1-k app2-1-t oc scale --replicas=2 dc app2 && oc scale --replicas=2 dc app1 25

26 Canary deployment Route Service app.os.local.int app app Pod app2-1-k app2-1-t app2-1-j app2-1-w oc scale --replicas=4 dc app2 && oc scale --replicas=0 dc app1 26

27 A/B deployment Obiettivi: testing di 2 (o più) versioni contemporaneamente 2 (o più) configurazioni, stessa versione (es. più region) come A/B testing, ma codice + config 1 service 2 (o più) deployment configuration molteplici shard proxy shard scale out/in deployment configs -> traffic splitter (%) N-1 compatibility gestito da Jenkins build go live scale out/in git push deploy test 27

28 A/B deployment Route Service app.os.local.int app app Pod app-1-x app-1-k app-a-1-y app-b-2-z 28

29 A/B deployment Route Service app.os.local.int app app Pod app-1-x app-a-1-y app-b-2-z app-b-2-k oc scale --replicas=2 dc app-b && oc scale --replicas=1 dc app 29

30 A/B deployment Route Service app.os.local.int app app Pod app-a-1-y app-a-1-t app-b-2-z app-b-2-k oc scale --replicas=2 dc app-a && oc scale --replicas=0 dc app 30

31 A/B deployment Route Service app.os.local.int app app Pod app-b-2-z app-b-2-k app-b-2-t app-b-2-w oc scale --replicas=4 dc app-b && oc scale --replicas=0 dc app-a 31

32 Grazie per l attenzione! Sede Legale e Unità Operativa Via Alfredo Campanini, Milano Tel: Fax: Unità Operativa Via Cristoforo Colombo, Roma Tel: Fax: