Noi siamo quello che facciamo ripetutamente. Perciò l'eccellenza non è un'azione, ma un'abitudine. Aristotele. Qualità del Software

Transcript

1 Noi siamo quello che facciamo ripetutamente. Perciò l'eccellenza non è un'azione, ma un'abitudine. Aristotele Qualità del Software

2 Quality Assurance per tutte le esigenze Web Site Testing Mobile Application Testing Software Lifecycle Testing Performance Testing Structural Testing La crescente centralità delle applicazioni web nella strategia delle aziende, richiede specifiche soluzioni di testing e validazione della qualità. Assioma.net vi offre un team di esperti dedicato a queste attività. Il prolificare delle mobile app e dei dispositivi con accesso al web, comporta un elevato rischio di problemi tecnici. Assioma.net possiede gli strumenti e le competenze per garantire la piena soddisfazione dei vostri utenti mobile. Un efficiente gestione della qualità del software non si limita alla fase di Testing prevista dal Software Lifecycle, ma si distende lungo tutto il ciclo, La Quality Factory di Assioma.net vi offre un ampia gamma di test, (blackbox e white-box) Un applicativo deve funzionare bene anche in situazioni di particolare criticità. Assioma.net vi mette a disposizione diversi tools, per sottoporre l applicativo a vari tipi di stress e misurare le sue prestazioni e quelle del dispositivo client. Ottimizzare gli investimenti in qualità del software significa anche andare oltre i suoi aspetti «visibili». Assioma.net vi offre gli strumenti e le competenze per testare la struttura di un sistema informativo o delle sue componenti. Test Automation - Functional Test - Compatibility Test - Responsive Web Design Test - Web User Experience - Localization Test - Mobile Hardware/OS Compatibility - Integration Test - Acceptance Test - No Regression Test - System Test - Usability Test - Indipendent Verification & Validation - Web Performance Test - Mobile User experience - Mobile Performance Test - Load Test - Stress Test - Capacity Test - Long Duration Test - Static Code Analysis - Application Performance Management - Document Validation - Test Management - Test Governance - Test Reporting.

3 Un ampia gamma di competenze ANALYSIS DESIGN DEVELOPMENT TEST OPERATION Software Quality Assurance Document Validation Static Code Analysis System Test System Integration Test UAT Performance Test Regression Test Test Automation APM Web Site Testing Mobile Testing Usability Testing Configuration Management & Deploy Assessment, Progettazione e Deploy Processi di Quality Assurance Qualità funzionale Qualità strutturale Qualità olistica

4 Quality Gate Sviluppo System Test UAT Esercizio QUALITY GATE Qualità QUALITY GATE metriche metriche Action plan Action plan

5 Macro flusso di processo CM & DEPLOY NON FUNCTIONAL TESTING FUNCTIONAL TESTING RILASCIO Documentazione VALIDAZIONE SPECIFICHE RILASCIO Software CM STATIC CODE ANALYSIS PIANO DEL TEST DELIVERABLES DEVELOPMENT USABILITY & SEO SYSTEM TESTING VALIDATION SIN INSTALLATION PERFORMANCE TESTING INTEGRATION TESTING REPORTISTICA NO REGRESSION TESTING (AUTOMATION) UAT SUPPORT CRUSCOTTO QUALITY GATE

6 Analisi Statica Misura le dimensioni delle applicazioni (righe di codice, commenti, duplicazioni, codice morto, complessità) Determina i livelli qualitativi (Robustezza, Sicurezza, Performance, Portabilità, Manutenibilità) Identifica piani di azione per migliorare caratteristiche ritenute prioritarie Migliora le competenze tecniche dei gruppi di sviluppo Individua variazioni dimensionali e qualitative tra 2 o più versioni Consente di contrattualizzare KPI verso i fornitori dello sviluppo

7 Modelli di offerta Analisi Statica Assessment Base L Assessment Base consente una verifica una tantum del codice applicativo di una determinata applicazione. Ha l obiettivo di valutare la bontà di una applicazione in un momento qualsiasi. Assessment a Progetto L Assessment a Progetto consente la verifica, durante il rilascio, del codice di una determinata applicazione. Il contesto è pensato per introdurre un Gate di qualità sul codice applicativo durante la fase di Verifica di un progetto software. Nel momento in cui la software factory (interna o esterna), rilascia in ambiente di test, viene pianificata e realizzata un attività di verifica formale del codice sorgente. Le non conformità rilevate verranno segnalate e, durante la fase di test, verrà verificata la chiusura o meno delle Issue aperte Governance Portfolio Applicativo Il servizio di Governance del Portfolio Applicativo consente di mettere sotto controllo un elevato numero di applicazione in modalità Continuous Inspection, ovvero intervenendo per periodi di tempo lunghi, nei quali si vuole mettere sotto controllo l applicazione per verificarne le variazioni rispetto alle metriche di qualità nel tempo. Fornisce informazioni utili al management per conoscere il perimetro e la qualità del proprio Parco Applicativo.

8 Test di performance Load Testing Load Test Valutare le prestazioni (tempo di risposta, throughput) del sistema con carichi simili a quelli operazionali (profili di basso, medio e alto carico) Evidenziare problemi legati all uso concorrente del sistema Performance Testing Valutazione le prestazioni del sistema con carico reale Stress Testing Valutare il comportamento in situazioni di stress Long Duration Testing Capacity Test Valutare la capacità del sistema al variare del carico Stress Test Capacity management Misurare i punti di saturazione e di rottura Valutare la robustezza del sistema Garantire che le attuali risorse forniscano le più alte prestazioni (tuning risorse esistenti) Stability Test Misurare fenomeni di aging (fenomeni di degrado progressivo e sistematico) Evidenziare fenomeni di aumento della frequenza degli errori - Dovuti ad accumuli/attivazione/propagazione influenzate dal tempo di esecuzione - Errori di tipo Memory leak, fragmentation, round-off errors, not-terminated threads - Dovuti a Aging-related Bugs (ARB) Valutare la performance degradation del sistema nel lungo periodo Capacity planning Garantire che adeguate risorse soddisfino future esigenze (acquisto nuove risorse) Confronto delle performance tra più sistemi (tuning, verifica performance al rilascio di change)

9 Test Automation Assioma.net guida il cliente alla ricerca della migliore soluzione possibile in ambito test automation Focus sul miglioramento del processo di test, massimizzazione del ROI Automation testing Lvl 5 (Optimization) Copertura e efficacia dei test misurata Framework di test maturo per le varie applicazioni/funzionalità Tempi per sviluppo e manutenzione dei test ridotto Focus sull aumento dell efficienza/efficacia dei test e aumento della copertura 30%-40% dei test automatizzati Riusabilità e manutenibilità dei test aumenta la produttività Ancora esiste una forte dipendenza dai functional tester Focus sulla manutenibilità dei test e sull aumento della produttività Automation testing Lvl 4 (Measured) Automation testing Lvl 3 (Defined) Tool di automazione selezionato. Test automatici su alcune funzionalità Alto tempo iniziale per l automazione. Scenari complessi difficili da automatizzare Focus sull automatizzazione di alcuni test di non regressione Automation testing Lvl 2 (Managed) 100% Manual Testing Utilizzo intensivo delle risorse durante la fase di test Manual Testing- Lvl 1 (Initial) ROI

10 Modelli di collaborazione On demand attività progettuali Team dedicato servizio inhouse Outsourcing servizio remoto Assessment valutazione processi, procedure, strumenti Consulenza specializzata supporto qualificato Pagina 20

11 Quanto costa la risoluzione di un defect? Maintenance 792 Testing 100 Design e Coding 25 Analisi Requisiti Il costo di risoluzione di un difetto cambia drasticamente in funzione della fase del ciclo di vita nella quale si trova il sistema. Un difetto identificato in fase di analisi dei requisiti, può essere corretto con una spesa media di 9 ; se viene scoperto in fase di test, la correzione costa 100 ; se poi viene identificato solo in produzione, la gestione completa della correzione costa mediamente 792 fonte: 2008 GBS Industry Standard Study

12 Il contributo di Assioma.net Un progetto pilota in ambito Finance Assioma.net è stata coinvolta per il collaudo di un applicativo legato ad un nuovo prodotto bancario con modalità «Test Factory». Il confronto tra le specifiche e i Test Case predisposti inizialmente dal cliente ha evidenziato carenze coperte triplicando i Test Case Nell esecuzione del Test, i casi aggiunti (69%) hanno intercettato molti bug (85%) che altrimenti sarebbero andati in produzione I Test Case aggiunti hanno intercettato difetti nell intera gamma di criticità tra cui uno estremamente critico 100% 80% 60% 40% 20% CLIENTE ASSIOMA 0% CASI DI TEST SCRITTI BUG CORRELATI CLIENTE ASSIOMA EXTREMELY CRITICAL VERY CRITICAL CRITICAL LESS CRITICAL QUESTION

13 Il contributo di Assioma.net - ROI BUG TROVATI bug legati alla fase di apertura prodotto 8 bug legati a fasi successive 16 ATTIVAZIONI PREVISTE attivazioni previste (ipotizzato 1 anno) attivazioni primo mese (intercettano potenzialmente i bug legati all apertura prodotto) attivazioni entro 3 mesi (intercettano potenzialmente i bug legati alle fasi successive) TICKET STIMATI ticket legati ad errori in fase apertura 400 (2% degli errori possibili) ticket legati ad errori in fasi successive (2% degli errori possibili) NO Test Test Factory Costi del testing Investimento Test Factory Ambiente di Test Costo per risoluzione defect 100 Defect rilevati - 26 Costo totale Ambiente di Produzione Costo per risoluzione defect 792 Defect rilevati 24 - Risoluzione defect Costo gestione ticket 10 Ticket stimati Gestione ticket Perdita di immagine? - Costo finale ROI 213% In base all ipotesi di utilizzo del nuovo sistema in 3 mesi, abbiamo stimato richieste di assistenza (Ticket) al Service Desk. Attribuendo costi medi standard per la correzione dei Defect e la gestione dei Ticket, l investimento sulla Test Factory ha dato un ritorno del 213% in tre mesi.

14 Daniele Rosso