Università di Bergamo Facoltà di Ingegneria INGEGNERIA DEL SOFTWARE. Paolo Salvaneschi A5_1 V2.3. Controllo Qualità.

Transcript

1 Università di Bergamo Facoltà di Ingegneria INGEGNERIA DEL SOFTWARE Paolo Salvaneschi A5_1 V2.3 Controllo Qualità Aspetti generali Il contenuto del documento è liberamente utilizzabile dagli studenti, per studio personale e per supporto a lezioni universitarie. Ogni altro uso è riservato, e deve essere preventivamente autorizzato dall autore. Sono graditi commenti o suggerimenti per il miglioramento del materiale

2 INDICE La qualità dei prodotti software Qualità di prodotto e di processo Nomenclatura Modelli di qualità Tecniche di valutazione della qualità di prodotto Processo di valutazione della qualità di prodotto Case history A5 - Controllo Paolo Salvaneschi 2

3 La qualità dei prodotti software Qualità di un prodotto software Insieme di caratteristiche diverse Il prodotto soddisfa le sue specifiche funzionali Il prodotto è estendibile Il prodotto è facile da usare Il prodotto ha un uso efficiente delle risorse hardware.. Il prodotto soddisfa le esigenze del cliente A5 - Controllo Paolo Salvaneschi 3

4 La qualità dei prodotti software A5 - Controllo Paolo Salvaneschi 4

5 Qualità di prodotto e di processo Come si ottiene la qualità di un prodotto? Due approcci complementari: Definire e utilizzare un processo di qualità al fine di produrre prodotti di qualità Definire ed eseguire un insieme di attività di controllo per assicurarsi (ed eventualmente migliorare) la qualità del singolo prodotto A5 - Controllo Paolo Salvaneschi 5

6 Qualità di prodotto e di processo Qualità di processo Un processo male organizzato e tecnicamente carente difficilmente genera prodotti di qualità Specifiche non scritte Progettazione inesistente Pianificazione carente Configurazioni e versioni non gestite Prodotti di bassa qualità A5 - Controllo Paolo Salvaneschi 6

7 Qualità di prodotto e di processo Qualità di processo Assunzione: migliorare la qualità dei processi produttivi genera una migliore qualità statistica dei prodotti Ciò non assicura sulla qualità di uno specifico prodotto (sistema di volo di un aereo) A5 - Controllo Paolo Salvaneschi 7

8 Qualità di prodotto e di processo Qualità di prodotto Prodotto software Misure Azioni Attività di controllo Obiettivi di qualità Livello accertato di qualità Fiducia nell utilizzo A5 - Controllo Paolo Salvaneschi 8

9 Nomenclatura Malfunzionamento Failure Funzionamento non corretto (non corrispondente alle specifiche) di un programma E legato al comportamento del programma, non alla sua struttura statica A5 - Controllo Paolo Salvaneschi 9

10 Nomenclatura Difetto (Anomalia) Fault (Defect) - Bug Componente non corretto del programma. Riguarda la struttura statica Se è percorso in una esecuzione del programma, genera un malfunzionamento Il difetto è la causa del malfunzionamento Un programma può contenere difetti senza generare malfunzionamenti (i difetti non sono percorsi) Un malfunzionamento può essere dovuto alla presenza di più difetti Più difetti possono generare un effetto globale nullo (nessun malfunzionamento) A5 - Controllo Paolo Salvaneschi 10

11 Nomenclatura Errore Error Causa della generazione di un difetto Errore di analisi, errore di interpretazione delle specifiche, errore di progettazione, errore di programmazione, errore di battitura, Malfunzionamento Errore Difetto Attivazione A5 - Controllo Paolo Salvaneschi 11

12 Verifica Stiamo costruendo il prodotto nel modo giusto? Validazione Nomenclatura Stiamo costruendo il prodotto giusto? Requisiti Fase Verifica Validazione A5 - Controllo Paolo Salvaneschi 12

13 Modelli di qualità Uno schema di riferimento per la definizione di qualità di prodotto ISO/IEC 9126 Software product quality è divisa in quattro parti: Modello di qualità Metriche esterne Metriche interne Metriche per la qualità in uso ISO/IEC Product evaluation. È divisa in sei parti: Vista d insieme Pianificazione e gestione Processo per gli sviluppatori Processo per gli acquirenti Processo per i valutatori Documentazione dei moduli di valutazione A5 - Controllo Paolo Salvaneschi 13

14 Modelli di qualità Software Product Quality Functionality Reliability Usability Efficiency Maintainability Portability suitability accuracy interoperability security compliance maturity fault tolerance recoverability compliance understandability learnability operability attractiveness compliance time behaviour resource utilisation compliance analysability changeability stability testability compliance adaptability installability co-existence repleaceability compliance A5 - Controllo Paolo Salvaneschi 14

15 Modelli di qualità Functionality - Funzionalità Insieme di attributi che sono in relazione con l esistenza di un insieme di funzioni e di loro specifiche proprietà. Le funzioni sono quelle che soddisfano esigenze espresse (requisiti) o implicite. Reliability - Affidabilità Insieme di attributi che sono in relazione con la capacità del software di mantenere il suo livello di prestazioni in determinate condizioni e per un determinato periodo di tempo. A5 - Controllo Paolo Salvaneschi 15

16 Modelli di qualità Usability - Usabilità Insieme di attributi che sono in relazione con lo sforzo richiesto per usare (il prodotto software) e la valutazione individuale dell uso da parte di un determinato insieme di utenti. Efficiency - Efficienza Insieme di attributi che sono in relazione con il livello di prestazioni del software e la quantità di risorse usate, in determinate condizioni. A5 - Controllo Paolo Salvaneschi 16

17 Modelli di qualità Maintainability - Manutenibilità Insieme di attributi che sono in relazione con lo sforzo richiesto per apportare determinate modifiche. Portability - Portabilità Insieme di attributi che sono in relazione con la possibilità di un software di essere trasferito da un ambiente ad un altro. A5 - Controllo Paolo Salvaneschi 17

18 Adeguatezza - Suitability Riguarda la presenza e l appropriatezza di un set di funzioni. Accuratezza - Accuracy Riguarda la capacità di fornire risultati (o effetti) giusti o accettati. Interoperabilità - Interoperability Riguarda la capacità di interagire con altri sistemi. Sicurezza - Security Riguarda la capacità di prevenire accessi non autorizzati (accidentali o intenzionali) ai dati e ai programmi. Conformità - Compliance Modelli di qualità Functionality Attributo che rende il software conforme a norme, convenzioni, leggi o prescrizioni similari per gli aspetti funzionali A5 - Controllo Paolo Salvaneschi 18

19 Modelli di qualità Maturità -maturity Reliability Attributo relativo alla frequenza con la quale si manifestano malfunzionamenti Tolleranza ai difetti Fault tolerance Capacità di mantenere uno specifico livello di prestazione anche in presenza di difetti del software o di violazione delle modalità di uso dell interfaccia del software Recuperabilità Recoverability Attributo relativo alla capacità di (ed allo sforzo e tempo necessari per) ristabilire il livello di prestazioni del software e per recuperare i dati coinvolti in caso di malfunzionamento Conformità - Compliance Attributo che rende il software conforme a norme, convenzioni, leggi o prescrizioni similari per gli aspetti di affidabilità A5 - Controllo Paolo Salvaneschi 19

20 Modelli di qualità Comprensibilità - Understandability Usability Riguarda lo sforzo richiesto all utente per riconoscere i concetti e la logica realizzati nel software Apprendibilità - Learnability Riguarda lo sforzo richiesto all utente per apprendere come si utilizza il software Operatività Operability Riguarda lo sforzo richiesto all utente per l operatività del software Piacevolezza Attractiveness Caratteristica del software di essere attraente nell utilizzo (design grafico, scelta dei colori, ) Conformità - Compliance Attributo che rende il software conforme a norme, convenzioni, leggi o prescrizioni similari per gli aspetti di usabilità A5 - Controllo Paolo Salvaneschi 20

21 Modelli di qualità Prestazioni temporali Time Behaviour Riguarda tempi di risposta e thoughput nell esecuzione delle funzioni offerte dal software.utilizzo di risorse Resource Behaviour Riguarda la quantità di risorse utilizzate e tempo di utilizzo per le funzioni offerte dal software Conformità - Compliance Efficiency Attributo che rende il software conforme a norme, convenzioni, leggi o prescrizioni similari per gli aspetti di efficienza A5 - Controllo Paolo Salvaneschi 21

22 Analizzabilità - Analysability Riguarda lo forzo necessario per identificare le cause che hanno generato malfunzionamenti Modificabilità - Changeability Riguarda lo forzo richiesto per modificare il software sia a seguito di rimozione di difetti che richiesta di modifiche Stabilità -Stability Riguarda il rischi di effetti inaspettati a seguito di modifiche Testabilità - Testability Riguarda lo sforzo necessario per validare il software. Conformità - Compliance Modelli di qualità Maintainability Attributo che rende il software conforme a norme, convenzioni, leggi o prescrizioni similari per gli aspetti di manutenibilità A5 - Controllo Paolo Salvaneschi 22

23 Modelli di qualità Adattabilità - Adaptability Portability Capacità di adeguarsi ad ambienti diversi da quelli per cui è stato costruito senza specifici interventi Installabilità - Installability Sforzo necessario per installare il software in uno specifico ambiente Coesistenza - Co-existence Capacità del software di coesistere con altri software indipendenti nello stesso ambiente, condividendo risorse comuni Sostituibilità - Replaceability Sforzo necessario per usare il software al posto di altro software nell ambiente di quest ultimo Conformità - Compliance Attributo che rende il software conforme a norme, convenzioni, leggi o prescrizioni similari per gli aspetti di manutenibilità A5 - Controllo Paolo Salvaneschi 23

24 Tecniche di valutazione della qualità di prodotto Esistono tecniche diverse per valutare la qualità di un prodotto software: Verifiche basate sull esecuzione del prodotto software (Testing) Ispezioni Misure A5 - Controllo Paolo Salvaneschi 24

25 Tecniche di valutazione della qualità di prodotto Verifiche basate sull esecuzione del prodotto software (Testing) Input di prova Specifica Programma Risultato Corrisponde a quanto atteso dalla specifica? Si è manifestata una anomalia? A5 - Controllo Paolo Salvaneschi 25

26 Tecniche di valutazione della qualità di prodotto Ispezioni Verifiche statiche dei documenti e del codice al fine di identificare problemi Non richiedono l esecuzione del codice (possono essere utilizzate prima della codifica) Possono utilizzare anche strumenti automatici (analizzatori statici) A5 - Controllo Paolo Salvaneschi 26

27 Tecniche di valutazione della qualità di prodotto Misure Misure (quantitative o qualitative) di attributi del software da cui possono essere derivate stime del valore delle caratteristiche di qualità Misura dell intricatezza di un programma Misura della coesione ed accoppiamento tra moduli (impattano sulla manutenibilità) possono essere utilizzate su tutti documenti rilasciati dal progetto A5 - Controllo Paolo Salvaneschi 27

28 Processo di valutazione della qualità di prodotto Obiettivi di controllo di qualità del prodotto Il controllo di qualità riguarda tutte le caratteristiche di qualità Scopo del controllo è assicurare (raggiungere un adeguato livello di fiducia) che il prodotto software manifesti un livello adeguato di qualità rispetto all utilizzo A5 - Controllo Paolo Salvaneschi 28

29 Processo di valutazione della qualità di prodotto Quale livello di qualità? Scopo del sistema Il livello di fiducia dipende dalla criticità del software per l organizzazione che lo utilizza Livelli diversi. Es: Sistema di gestione di un magazzino Sistema informativo di una banca Sistema di controllo del volo di un aereo Attese degli utenti Gli utenti possono avere diverse percezioni e aspettative Aspetti di mercato Commercializzare in fretta un prodotto può essere più importante che ridurre il numero di difetti presente nello stesso A5 - Controllo Paolo Salvaneschi 29

30 Processo di valutazione della qualità di prodotto La valutazione della qualità è basata sulla disponibilità di documenti (specifica, progetto, codice, ) La valutazione della qualità avviene lungo tutto il processo di sviluppo Non tutte le caratteristiche di qualità sono egualmente importanti per un prodotto software (vedi requisiti non funzionali) A5 - Controllo Paolo Salvaneschi 30

31 Processo di valutazione della qualità di prodotto Processo di valutazione della qualità di prodotto Passo 1: Definizione del profilo di qualità Passo 2: Definizione del piano di qualità Passo 3: Esecuzione del piano durante il processo Passo 4: Raccolta dei risultati e applicazione di regole di interpretazione al fine di esprimere un giudizio finale A5 - Controllo Paolo Salvaneschi 31

32 Processo di valutazione della qualità di prodotto Passo 1: Definizione del profilo di qualità Ad ogni caratteristica di qualità è assegnato un valore (importanza, criticità, valore di misura atteso) relativo all intero prodotto A5 - Controllo Paolo Salvaneschi 32

33 Esempio Alto 1 0, Medio 0, Basso 0 Efficiency Functionality Maintainability Portability Reliability Usability Profilo di qualità Un grande sistema di automazione (distribuzione di energia elettrica) A5 - Controllo Paolo Salvaneschi 33

34 Processo di valutazione della qualità di prodotto Passo 2: Definizione del piano di qualità Per ogni caratteristica di qualità è definito un modulo di attività di controllo (test, ispezioni, misure) Un modulo di attività di controllo può eseguire verifiche su documenti diversi utilizzando tecniche diverse A5 - Controllo Paolo Salvaneschi 34

35 Processo di valutazione della qualità di prodotto Specifica Funzione A 1. Test della funzione A (5 casi di test) 2. Ispezione del documento di specifica Ricchezza delle funzioni messe a disposizione dell utente, Progetto Programma Modulo di controllo Caratteristica:Funzionalità rispetto ai prodotti concorrenti 3. Ispezione del documento di progetto Gli algoritmi della libreria matematica utilizzata forniscono sufficiente garanzia di precisione? A5 - Controllo Paolo Salvaneschi 35

36 Processo di valutazione della qualità di prodotto Una stessa caratteristica può essere valutata più volte in diverse fasi dello sviluppo mediante moduli di di attività di controllo diversi (che forniscono gradi di certezza diversi del risultato) Esempio: Modulo di controllo da eseguire al termine della progettazione architetturale Modulo di controllo da eseguire al termine della codifica A5 - Controllo Paolo Salvaneschi 36

37 Processo di valutazione della qualità di prodotto Modulo di controllo Da eseguire al termine della progettazione Caratteristica:Efficienza Specifica Funzione A 1. Realizzazione di un prototipo e test delle prestazioni 2. Ispezione del documento di progetto I prodotti di comunicazione utilizzati garantiscono il flusso di dati definito dai Progetto requisiti non funzionali nel documento di specifica? Programma Modulo di controllo Da eseguire al termine della codifica Caratteristica:Efficienza 1. Test delle prestazioni sul prodotto installato A5 - Controllo Paolo Salvaneschi 37

38 Processo di valutazione della qualità di prodotto Passo 3: Esecuzione del piano durante il processo Esempio: Esecuzione al termine della progettazione architetturale Esecuzione al termine della codifica A5 - Controllo Paolo Salvaneschi 38

39 Esempio Verifiche di progetto (sistema informativo di una utility) Verifica dinamica Sono state eseguite le seguenti verifiche: Implementazione di un processo di prova che inserisce in un data base SQL Server un flusso di pacchetti di dati paragonabili ai pacchetti acquisiti ogni minuto con un carico di 3000 clienti. Caratteristiche della prova: Windows NT 4 e SQL Server; inserimento con autocommit di ogni pacchetto; flusso di 3000 pacchetti al minuto; macchina Pentium II 450 MHz, 256 Mb RAM (Server entry level "Hp netserver") Il flusso, pari alla peggiore condizione di carico ipotizzabile per questo flusso, per 3 volte il massimo dei clienti specificato nel requisito, viene gestito correttamente su una macchina server entry level. Verifica delle specifiche prestazionali del meccanismo di comunicazione di Windows NT MSMQ utilizzato per gestire le code di comunicazione tra i processi. I documenti ufficiali Microsoft riportano i seguenti dati di prova:windows NT 4; macchina Pentium 200 MHz, 256 Mb RAM E mantenuto un flusso continuo di messaggi da 1000 bytes ognuno, pari a 6000 messaggi al secondo. Il sistema progettato deve operare con prestazioni di un ordine di grandezza inferiori. A5 - Controllo Paolo Salvaneschi 39 Ispezione

40 Processo di valutazione della qualità di prodotto Passo 4: Raccolta dei risultati e applicazione di regole di interpretazione al fine di esprimere un giudizio finale Interpretazione delle singole misure: Passa / non passa Insufficiente, sufficiente, buono, ottimo Regole che permettono di riassumere misure locali in valutazioni globali A5 - Controllo Paolo Salvaneschi 40

41 Processo di valutazione della qualità di prodotto Regole che permettono di riassumere misure locali in valutazioni globali Suff. Tavola di decisione, Media pesata, Insuff. Buono Test, ispezioni, misure 1,2 Caratteristica xx A5 - Controllo Paolo Salvaneschi 41

42 Processo di valutazione della qualità di prodotto Spiegazione Fornire spiegazioni delle ragioni della valutazione tali da poter essere utilizzate per migliorare il prodotto Il valore globale di una caratteristica di qualità è spiegato nei termini dei valori delle sottocaratteristiche e delle misure raccolte A5 - Controllo Paolo Salvaneschi 42

43 Esempio Alto Livello 2: dati cumulativi 1 Valori misurati Profilo richiesto 0, Medio 0, Basso 0 Efficiency: 13 dom. Functionality: 69 dom. Maintainability: 79 dom. Portability: 3 dom. Reliability: 59 dom. Usability: 36 dom. Profilo di qualità e valutazione della qualità Un grande sistema di automazione (distribuzione di energia elettrica) A5 - Controllo Paolo Salvaneschi 43

44 Esempio <omissis> La modificabilità appare negativamente influenzata da fattori quali l'utilizzo di aree globali per il passaggio dei parametri e dalla ridotta compattezza della documentazione. L'analizzabilità ha un valore medio, evidenziando una documentazione dettagliata ma di limitato ausilio ai fini della comprensione del sistema. Osservando l'andamento delle misure sui vari documenti di progetto, è possibile osservare che il basso valore della manutenibilità è dovuto principalmente a problemi di specifica e progettazione; il codice si può considerare di media qualità, e probabilmente risente negativamente delle carenze delle fasi precedenti. <omissis> Spiegazione della bassa manutenibilità Un grande sistema di automazione (distribuzione di energia elettrica) A5 - Controllo Paolo Salvaneschi 44

45 Processo di valutazione della qualità di prodotto Complicazione: Un prodotto software è costituito da più componenti (vedi architettura); le caratteristiche di qualità non sono egualmente importanti per tutti i componenti Matrice di qualità A5 - Controllo Paolo Salvaneschi 45

46 Esempio Matrice di qualità Un grande sistema di automazione (distribuzione di energia elettrica) A5 - Controllo Paolo Salvaneschi 46

47 Processo di valutazione della qualità di prodotto Complicazione: Una caratteristica di un componente può essere considerata particolarmente critica (un elevato valore richiesto per la caratteristica può essere interpretato come criticità). Poiché lo sforzo globale di controllo è limitato conviene concentrarlo nei componenti più critici Livelli dei moduli di controllo A5 - Controllo Paolo Salvaneschi 47

48 Processo di valutazione della qualità di prodotto Modulo di controllo Livello 1- Caratteristica XX 1. Test dei casi principali Modulo di controllo Livello 2 - Caratteristica XX 1. Test dettagliato 2. Ispezione del codice A5 - Controllo Paolo Salvaneschi 48

49 Case history Case history Information system for real estate management of a local authority GIS + workflow new code (150 Klines ) COTS Legacy AS400 DB and application A5 - Controllo Paolo Salvaneschi 49

50 Case history The problem (the management view) Not the search for the best quantitative measure But the ability to Integrate: exploit in a coherent framework every available measure (quantitative or qualitative, static or execution based) Manage the cost /risk A5 - Controllo Paolo Salvaneschi 50

51 Case history A product of significant size: Many components Quality requirements not uniform over the whole product. E.g., high efficiency for graphic display functionality, not in the batch print functionality. Focus the control effort A5 - Controllo Paolo Salvaneschi 51

52 Case history Quality evaluation of software product Attributes tree Measurements Inspection Prototypes Test plan Metrics A5 - Controllo Paolo Salvaneschi 52

53 Case history The proposed tool:the quality matrix Hierarchical model (functional or structural) of the software product Requirements analysis: from a global quality profile to a required quality value for each component and characteristic (or subcharacteristic) 1 0, , Efficiency Functionality Maintainability Portability Reliability Usability A5 - Controllo Paolo Salvaneschi 53

54 Case history Required quality value M medium H High * Not interesting A5 - Controllo Paolo Salvaneschi 54

55 Case history The quality matrix Included in the requirements doc The basis to derive the quality control plan A5 - Controllo Paolo Salvaneschi 55

56 Case history Required quality value M medium H High * Not interesting Development phases s specification d design c run time code u user documentation A5 - Controllo Paolo Salvaneschi 56

57 Case history From the quality matrix to the quality control plan The required quality value defines the control effort (High value deeper evaluation) The quality control plan integrates various measurement techniques Tests Ispections Metrics A5 - Controllo Paolo Salvaneschi 57

58 Case history A-GIS BASED SUBSYSTEM Maintainability Medium value Design Inspection (checklist) D1-Interventions Management Efficiency High value Tests for efficiency scenarios A5 - Controllo Paolo Salvaneschi 58

59 Case history Measurements are context dependent through the concept of scenario Requirements & specification document: The description of functional and nonfunctional requirements may be used to directly derive measurement scenarios A5 - Controllo Paolo Salvaneschi 59

60 Case history Example from spec document: a scenario for efficiency A5 - Controllo Paolo Salvaneschi 60

61 Case history Example from spec document: a scenario for functionality A5 - Controllo Paolo Salvaneschi 61

62 Case history Synthesis Define the quality matrix in the requirements doc Use it to focus the quality control effort and to manage the risk Design the quality control plan integrating the available evidences from tests, metrics, inspections A5 - Controllo Paolo Salvaneschi 62

63 Case history A more general view: The quality control ingredients Process model Attributes tree Product model Measurements Component 1 n A5 - Controllo Paolo Salvaneschi 63

64 Case history Product model A5 - Controllo Paolo Salvaneschi 64

65 Case history Product model Components: C1, C2, C5, D1 Efficiency Petri Net model for the identification of efficiency-critical modules A5 - Controllo Paolo Salvaneschi 65

66 Case history Product model Components: B1- History management and B3- Transaction manag. Functionality Finite states model to support test coverage A5 - Controllo Paolo Salvaneschi 66

67 Case history Towards model based quality control Modeling the product is poorly considered in current quality evaluation practice Types of models Qualitative vs quantitative models Models hierarchies Classification and reuse.. A5 - Controllo Paolo Salvaneschi 67