Dalla Test Automation alla Creazione del Centro di Competenza di Test:

Transcript

1 Dalla Test Automation alla Creazione del Centro di Competenza di Test: Un esperienza sul campo STF Giugno 2015

2 Dalla Test Automation alla Trasformazione del Centro di Competenza: un esperienza bancaria sul campo STF 2015 Esperienza BNL Capgemini L ambito del progetto di Setup del CdC Test Organizzazione e Risultati Ambienti a supporto L approccio Capgemini alla Testing Transformation 2

3 BNL all interno del Gruppo BNP Paribas Dipendenti 75 Paesi EUROPE ASIA PACIFIC BELGIUM LUXEMBOURG FRANCE ITALY AMERICAS NORTH AMERICA MIDDLE EAST 610 ITALY SOUTH AMERICA AFRICA As of Mediante il Gruppo BNP Paribas, BNL offre ai suoi clienti italiani l accesso al più esteso network bancario internazionale 3

4 Un cammino di trasformazione del Centro di Competenza Test Roadmap evoluzione Centro Competenza Test INIZIATIVE Gara e avvio del progetto di setup del Centro Competenza Test con Capgemini Dal Gruppo Industrializzazione dello sviluppo software BNL si certifica CMMI2 Avvio test automation in ambito Multicanalità Estensione utilizzo test automation 3 4 Uso test automation in programma Multicanalità 5 6 Creazione Centro Competenza Test BNL Da BNL Riduzione del costo dello sviluppo software Quality Improvement dei prodotti software 1 2 Miglioramento del Time to Market

5 verso il miglioramento degli obiettivi di efficacia, qualità e time-tomarket Aumento della capacità di anticipare l identificazione dei defects Maggiore velocità di rimozione di anomalie Continuous Improvement Incremento e diffusione di competenze core per il testing Approccio ai test evoluto = diminuzione di incidenti e sollecitazioni Obiettivi + Qualità Riduzione dei tempi di rilascio del software Maggiore velocità di esecuzione dei cicli di test su asset e progetti Riduzione dei costi di manutenzione del sw Minor del costo del testing nei progetti (costo del test = in media al 21% del costo di progetto) Minor costo per aumento di produttività Risparmio per sharing di componenti di test già sviluppate CdC Test Inizializzazione Definire framework, metodologia, implementare gli asset strategici (persone, processi, tool) 2014 CdC Test Trasformazione Gestione degli asset strategici per portare valore (Timing, Qualità e Saving) 2015 CdC Test Ottimizzazione Continuous Improvement di asset strategici (persone, processi, tool) 2016 Nov 2013 Creazione del CdC Test Lug 2014 Lancio Progetto di Setup 5

6 ... attraverso un piano di progetto di Setup del CdC Test con differenti ed importanti stream Stream Q Q4 Q1 Q2 Q3 Q4 Q1 POC Cross Browser Offshore Cross-Browser Completato POC Mobile/App Offshore Mobile/App Completato Iniziative di Setup & Improvement WAVE Recupero Non Regressione Wave Miglioramento Tool Patrimoni Applicazioni Critiche Strumenti e Infrastruttura per Automazione evoluti Wave Metodologica Fase 1 Best Practice e Template definiti Consolidamento Best Practice Wave Metodologica Fase 2 Best Practice Ottimizzate Iniziative di Supporto Supporto a Progetti e Patrimoni: Cataloghi Servizi Data riferimento: 31/03/2015 6

8 Un Modello Organizzativo di collaborazione a supporto della Governance del CdC Test Mgmt Team Resp. Patrimonio Resp. CdC Test Resp. Progetti Setup / Improv. PM Resp. Factory Resp. Test Mgmt (*) Risorsa BNL Risorsa Capgemini Un TDM per dominio Coord. Test Factory Setup & Improvement Iniziative di supporto a Progetti e Patrimoni Wave Metodologica Wave Miglioramento Tool POC OffShore No Regression Test Team Team Coaching and Support Delivery Team Resp. BNL Resp. BNL Resp. BNL Crediti Test Domain Manager (*) Recupero Patrimoni Supporto Progetti Team Capgemini Team Capgemini Team Capgemini Canali Pagamenti SRSI Governance 8

9 con un organizzazione Capgemini a garanzia della Segregation of Duties Domain Assicura la corretta attribuzione del budget per le attività del Test Domain Manager (*) Un Test Domain Manager per dominio Test Factory Resp. TMA Capgemini Domain Manager Capgemini Resp. Progetto Capgemini Pianifica gli impegni del Test Domain Manager per Progetti e Patrimoni Assicura la completezza e la qualità delle attività di test Assicura il recupero dei Patrimoni (Non Regressione) Resp. Test Factory Test Domain Manager (*) Governa l allocazione delle risorse TDM Obiettivi del modello di governance richiesto a Capgemini Garantire la Segregation of Duties, assicurando di fatto che la progettazione ed esecuzione dei test venga effettuata da risorse esterne al team di progetto Assicurare una focalizzazione delle competenze sui test, avendo definito figure dedicate al Test Management (TD Manager) Assicurare che il budget previsto per il Test Manager (per la fase di Costruzione) venga effettivamente dedicato a tali attività 9

10 Change Management e Governance: le due aree che hanno chiesto un maggiore focus Incontri/workshop di coinvolgimento, commitment e comunicazione a vari livelli RISORSE COINVOLTE: Test Manager e Domain Manager SME Functional/Business Analyst e Project Manager Prime Linee e Responsabili Team di sviluppo METODOLOGIE: Training in aula Computer Based Training Awareness workshop Bussole informative Intranet Community Proposta di evoluzione della Governance SAL bimestrale con management BNL e Capgemini Partecipazione alla SAL Review mensile dei Gruppi (Pagamenti, Multicanalità, Infrastrutture, Governance, Crediti) SAL quindicinale/mensile con Resp. Ufficio Patrimoni di ciascun gruppo 10

11 Raggiunti importanti aumenti di produttività Automazione 2 : realizzato un portale per la generazione automatica degli script di automazione dei servizi, consentendo la creazione delle automazioni anche ai Test Manager (senza la necessità del Test Developer). In corso la sperimentazione per permettere l utilizzo di tale strumento al team di sviluppo con l obiettivo di efficientare il lavoro di test da questi svolto ed allo stesso tempo ottenere già a target la data preparation da utilizzare per i test di non regressione. In pianificazione messa a disposizione del portale servizi ai team di sviluppo (Shift-Left) Reverse Engineering del Test Automatico e sua documentazione: per andare incontro all esigenza di recuperare i test case laddove presenti i test automatici ma allo stesso tempo fornire ai B.A./F.A. un riscontro oggettivo di qual è il contenuto dell automazione è stato realizzato una feature del framework che a partire dal lancio del test automatico produce un documento word contenente le schermate attraversate i passi fatti ed i controlli eseguiti Batch 2.0: l automazione delle fasi batch è stata standardizzata per renderla Scriptless e cioè non è più necessario scrivere codice di automazione ma solamente compilare un foglio excel per configurare il comportamento voluto. Stiamo lavorando per semplificare il più possibile la compilazione dell excel in modo da rendere l attività esercibile da utenti non specialisti Il test automatico «nelle mani» del team di progetto/patrimonio: l automazione rappresenta per il team di progetto/patrimonio un automobile che possono guidare da soli, avendoli abilitati a lanciarla ed a modificare i dati di input ed i risultati attesi. L ingaggio del CDC è solo per gli interventi di manutenzione straordinari (es. cambio della copy cobol, modifica del front end) DEVOPS: sono stati predisposti i meccanismi per l esecuzione dei test di non regressione (Smoke Test) adeguati ad essere richiamati dal Deploy Automatico 11

12 sui diversi ambiti tecnologici BNL coperti oggi dalla Test Automation 1. Applicazioni di Front End WEB (JFWEB, VIOTO, altro) 2. Applicazioni di Front End FAT JAVA (PDS) 3. Applicazioni di Front End Host App (in offshore) 5. Cross Browser (in offshore): Internet 6. Service call (Scriptless): Service Manager, JRF, SOAP 7. Batch Mainframe (Scriptless) 8. Batch Datastage (Scriptless) 9. Batch Open (Scriptless) 10. MQ Series Mainframe (Scriptless) 11. MQ Series Open (Scriptless) 12. Front end SAP R3 (da implementare Q4 2015) 12

14 Un «Cloud» organizzato tramite Virtual Client Citrix LAN Fisica e Virtuale di PC/Workstation riservate al CdC Test Foglio Excel per gestire input/output della test automation User VM GOLD (per il run dei test automatici) Intranet - NEOS Back End VM GOLD (Test Execution) Intranet PDS - NEOS Business, PM, FA Internet Client XP Internet Client Win7 Intranet WEB - NEOS Internet - APP Continuous Integration L'accesso alle VM effettuato via Browser Internet Client Win8 SOFTWARE INSTALLATO: Access, Excel, PSR Client HP ALM HP Sprinter 12 Desktop BNL-PDS- emulatore 3270-SAP ROI-4 Browser: Opera, Chrome, FireFox, Safari Opera Innesco UFT tramite Remote Agent Internet Cross Browser Internet Client XP Internet Client Win7 Internet Client Win8 Development VM GOLD (Test Development) Intranet PDS - NEOS Internet APP - CB 14

15 E una infrastruttura virtuale di Back-End a supporto del Testing per i vari domini VM CANALI VM PAGAMENTI INTRANET NEOS INTRANET PDS NEOS VM Business, PM, FA INTRANET NEOS INTERNET MOBILE APP VM CROSS Browser Testing INTERNET Client XP INTERNET Client Win7 INTERNET Client Win8 CROSS Browser Testing INTERNET MOBILE APP INTERNET Client XP INTERNET Client Win7 VM CREDITI INTERNET Client Win8 INTRANET NEOS VM VM SRSI CROSS Browser Testing INTERNET Client XP INTERNET Client Win7 VM GOVERNANCE INTRANET NEOS INTRANET NEOS INTRANET PDS NEOS INTERNET Client Win8 VM VM 15

17 A Testing Transformation in 4 steps through our Testing Services Improved Time-to-Market >15% >98% Detection of High Severity Defects Best skilled testing resources Best solutions, frameworks and accelerators Best organization on-site, in near-shore and in off-shore Best proved experience in Testing Transformation programs Best Vision for the future improvements Total Cost of Testing >30% 17

18 The Journey begins with an Assessment, based on TPI Next Approach TPI Next Quality Blueprint Assessment The TPI Next-model The Test Process Improvement (TPI ) model supports the improvement of test processes and has been developed based on the knowledge and the experience of Sogeti. The TPI -model has 16 key areas. In order to enable insight in the state of the key areas, the model offers Levels (from A to B to C etc.). The levels increase in terms of time (faster), money (cheaper) and/or quality (better). Assessment Areas Organisation - if the testing team is empowered and structured to deliver the right results on time Lifecycle - if the testing team is involved at the right time and does the right things in sequence Infrastructure - related attributes refer to the hardware, software, environment, knowledge and other enablers to the testing process Techniques - related attributes check the mechanisms employed by the testing team to create test-ware Assessment & insight into the maturity of the upgrade processes within Customer s organization across identified key areas of Testing Benchmark the upgrade and test maturity of Customer against the industry so you can see where you stand compared to your peers. Process and Techniques Identify key challenges in organization. Define clear, controllable improvement steps Accelerators & Best Practices Leverage accelerators and best practices to reduce cost and improve productivity. Accelerate the implementation of a roadmap by leveraging off-the-shelf accelerators & innovation labs. Trainings & Knowledge sharing 18

19 Defect Management Test Case Design Test Process Mgt Test Strategy Improvement steps by TPI Assessment will be organized in a Transformation Plan with also Capgemini Accelerators and Assets Pre-Pilot Activities Pilot Activities Constraints Post-Pilot Activities (focus on) Improvement & Tuning PointZERO Transformation Guides the test process towards an optimal allocation of effort and resources maximizes the execution of the test assignment within the required time, cost and results directs test execution to search for defects according to the test strategy treats defects both at an individual level and at a group level where root causes are analyzed and guidelines are available TMap Accelerator Training & Tailoring Organize Testing as a separate project, run by Test Factory Standardize Test Cases Definition using test tool Define LifeCycle and implement in test suite Promote test suite for Defect Management Use in Pilot Projects Use in Pilot Projects Guidelines from Group Use in Pilot Projects To be defined after Guidelines Training and tailoring checklist/approach for Low-Level Test Testing Techniques Link to Test Strategy TPI Root Cause Analysis Training for peer-review about documentation TPI Estimation Techniques Training & Tailoring Root Cause Analysis Use in Pilot Projects Use in Pilot Projects Transformation Vision/Goals achieved TCP Quality Gates Traceability Use in Pilot Projects Tailoring and promotion of test suite for test cases and requirements Verification/Update for tools licenses helps to improve the product quality from the beginning and helps to keep test activities off the project s critical path makes the test process planning and estimating predictable and reliable ensures coherence between test artifacts and between test artifacts and their related design documentation Communication & Reporting & Metrics Degree of Involvement Estimation and Planning Testware Management 19

20 A key component of transformation is leveraging the concept of Shift Left Aiming to drive defect detection to the beginning of the delivery process, an approach that Capgemini call PointZERO This means the results of testing execution are used to influence upstream activities and processes that are performed and delivered by other parts of the delivery organization typically developers and business analysts PointZERO uses a co-ordinated combination of techniques such as model-driven testing and root cause analysis all of which are fully utilized as well as increased use of accelerators and accelerated automation 20

21 Capgemini Testing Services Trusted advisor for 500+ clients in delivering world class quality & predictable outcomes 12,500+ testers in 40 countries across 500+ clients Published 14+ Books, 46+ white papers on software testing & engineering and Publishing of World Quality Report with HP Widely acknowledged as the only supplier to have independent test maturity models TMap Test Management Approach TPI Test Process Improvement PointZERO Shift Left Approach Delivered ~40% savings in multi vendor environment through Managed Testing Services (MTS) Fully industrialized process through global project management & execution tools & advanced best practices Highest Investment (1:1) in Research Change the practice Vs Run the practice Successfully implemented 75+ large scale MTS engagements driven by industry recognized thought leaders, Scale from FTE per client, continued service provisioning for multiple (3 to 10+ years) with most clients 21

22 A Testing Services Portfolio always evolving Quality Transformation Services Managed Testing Services Domain CoEs Test Mgt Specialized Testing Services T&M Fixed Price Pay per Use Outcome Based Test Case Generation The complete Capgemini QA & Test portfolio 22

23 La nostra partecipazione al STF Vi aspettiamo allo Stand Capgemini per discutere con i nostri esperti Nel pomeriggio il collega Gerrit presenterà: «Quantitative Analysis of the benefits of Software Testing, or: How to measure Confidence» Insert contact picture Gerrit de Vries Sogeti Netherlands Management Consultant Test&Quality Services gerrit.de.vries@sogeti.com Sogeti Netherlands Lange Dreef NJ Vianen Mob:

24 Informazioni di contatto Tmap HD : Human Driven Testing: Neil s Quest for Quality : 24

25 Informazioni di contatto Insert contact picture Carlo Guzzone BNL Responsabile Centro di Competenza di Test Linkedin: Carlo Guzzone BNL Roma Piazza Agricoltura Roma Mob Capgemini Capgemini ADM BNL Unit Manager Italia Insert contact picture Andrea Bei Delivery Director Insert contact picture Marco Bonanni Testing Practice Leader

26 About Capgemini With more than 145,000 people in over 40 countries, Capgemini is one of the world's foremost providers of consulting, technology and outsourcing services. The Group reported 2014 global revenues of EUR billion. Together with its clients, Capgemini creates and delivers business and technology solutions that fit their needs and drive the results they want. A deeply multicultural organization, Capgemini has developed its own way of working, the Collaborative Business ExperienceTM, and draws on Rightshore, its worldwide delivery model. Learn more about us at Rightshore is a trademark belonging to Capgemini The information contained in this presentation is proprietary Capgemini. All rights reserved.