Università di Bergamo Facoltà di Ingegneria INGEGNERIA DEL SOFTWARE. Paolo Salvaneschi A5_4 V3.0. Controllo Qualità. Misure

Transcript

1 Università di Bergamo Facoltà di Ingegneria INGEGNERIA DEL SOFTWARE Paolo Salvaneschi A5_4 V3.0 Controllo Qualità Misure Il contenuto del documento è liberamente utilizzabile dagli studenti, per studio personale e per supporto a lezioni universitarie. Ogni altro uso è riservato, e deve essere preventivamente autorizzato dall autore. Sono graditi commenti o suggerimenti per il miglioramento del materiale

2 INDICE Misure di prodotto: concetti generali Utilizzo delle misure Esempi di misure Misurare la qualità di prodotto Misure di servizio, progetto, processo A5 - Controllo Paolo Salvaneschi 2

3 Misure di prodotto: concetti generali La qualità di un prodotto (caratteristiche ISO 9126) può essere valutata non solo attraverso il testing o le ispezioni, ma anche raccogliendo misure relative a specifici aspetti del prodotto al fine di stimare il valore delle caratteristiche di qualità A5 - Controllo Paolo Salvaneschi 3

4 Misure di prodotto: concetti generali Esempio Misura della coesione ed accoppiamento tra componenti software Dimensioni medie del componente software in linee di codice (LOC) Densità di commenti nel codice. Stima della manutenibilità A5 - Controllo Paolo Salvaneschi 4

5 Misure di prodotto: concetti generali Alcune caratteristiche di qualità non sono valutabili attraverso l esecuzione di test Es. Manutenibilità E importante stimare la manutenibilità del prodotto durante lo sviluppo a partire dall osservazione di caratteristiche del prodotto Altro modo: sviluppare lo stesso prodotto più volte con tecniche diverse. Eseguire un insieme di casi di test di manutenzione a parità di condizioni (persone, ambiente, ) su tutti i prodotti; misurare gli sforzi di manutenzione ed eseguire una valutazione comparata A5 - Controllo Paolo Salvaneschi 5

6 Misure di prodotto: concetti generali Durante la vita di un prodotto software si possono misurare indicatori utili per stimare, predire o tenere sotto controllo caratteristiche di qualità Es. affidabilità Copertura del test N.difetti individuati/loc nella fase di test N.difetti individuati/loc in esercizio A5 - Controllo Paolo Salvaneschi 6

7 Misure di prodotto: concetti generali Misura Definizione dell entità che si misura e dell attributo da misurare Unità di misura Procedura per assegnare il valore dell attributo Valore misurato A5 - Controllo Paolo Salvaneschi 7

8 Misure di prodotto: concetti generali Misure interne Misura della coesione ed accoppiamento tra componenti software Dimensioni medie del componente software in linee di codice (LOC) Densità di commenti nel codice Valutate sui documenti che costituiscono il prodotto (al fine di stimare le misure esterne) Misure esterne Valutate sul prodotto nell ambiente di utilizzo Sforzo di modifica (gg/uomo) /n. linee di codice modificate A5 - Controllo Paolo Salvaneschi 8

9 Misure di prodotto: concetti generali Attenzione! Definire quale attributo misuriamo di quale oggetto Numero ciclomatico (Mc Cabe) V(G) = = n.archi n.nodi + 2 Misura il numero di decisioni binarie d in un programma V(G) = d+1 Misura un attributo della struttura di controllo di un programma Non è una misura di manutenibilità (anche altri fattori contribuiscono alla manutenibilità) A5 - Controllo Paolo Salvaneschi 9

10 Misure di prodotto: concetti generali Attenzione! Che operazioni aventi significato si possono applicare alla misura? (teoria della misura) N totale eventi 100 L operazione di media non ha significato su una scala di misure che è solo un ordinamento (senza distanza altissima-alta = media-bassa???) 30*1+60*2+8*3+2*4 100 A5 - Controllo Paolo Salvaneschi 10

11 Misure di prodotto: concetti generali Assunzioni: Una proprietà globale del prodotto (caratteristica di qualità manutenibilità ) può essere misurata in modo quantitativo attraverso uno o più indicatori Esiste una relazione tra gli indicatori (ciò che misuriamo) e la caratteristica di qualità (ciò che vogliamo stimare) La relazione è stata formalizzata e validata e la stima che otteniamo del valore della caratteristica di qualità ha una capacità predittiva A5 - Controllo Paolo Salvaneschi 11

12 Misure di prodotto: concetti generali Misure di attributi interni N. di linee di codice Numero ciclomatico Coesione e accoppiamento Valore di attributo esterno In generale Es. manutenibilità Predizione Sforzo medio di correzione di un errore A5 - Controllo Paolo Salvaneschi 12

13 Misure di prodotto: concetti generali Misure di attributi esterni Affidabilità Serie storica dei malfunzionamenti Valore di attributo esterno Predizione Tempo medio tra due malfunzionamenti A5 - Controllo Paolo Salvaneschi 13

14 Misure di prodotto: concetti generali Definire e validare una relazione tra gli indicatori e la caratteristica di qualità e difficile e controverso Es. Lo sforzo di manutenzione di un prodotto è legato ad una complessa rete di cause (tipologia del personale, caratteristiche del prodotto, tempi, ) Utilità in contesti definiti anche se la capacità predittiva è un problema Base di dati storica Contesto stabile Utilizzo con attenzione A5 - Controllo Paolo Salvaneschi 14

15 Misure di prodotto: concetti generali Livello quantitativo di sicurezza Test periodico delle caratteristiche del mezzo Valutazione quantitativa Sicurezza Tempo medio tra un incidente e il successivo Predizione Una valutazione di qualità non necessariamente deve produrre una predizione quantitativa per essere considerata utile A5 - Controllo Paolo Salvaneschi 15

16 Misure di prodotto: concetti generali Non sempre è necessario predire Es. Gestire il rischio Questa struttura di chiamate tra moduli è più rischiosa di una struttura più gerarchica A5 - Controllo Paolo Salvaneschi 16

17 Misure di prodotto: concetti generali Non sempre è necessario predire Es. Monitorare Conoscenza storica A5 - Controllo Paolo Salvaneschi 17

18 Misure di prodotto: concetti generali Non sempre è richiesta una misura quantitativa 1 H Livello 2: dati cumulativi Valori misurati Profilo richiesto 0, M 0, L 0 Efficiency: 13 dom. Functionality: 69 dom. Maintainability: 79 dom. Portability: 3 dom. Reliability: 59 dom. Usability: 36 dom. A5 - Controllo Paolo Salvaneschi 18

19 Utilizzo delle misure Perchè misurare? (classi di obiettivi) Valutazione Accettazione Monitoraggio e prevenzione Confronto Gestione del rischio Monitoraggio del livello nel tempo Spiegazione Predizione A5 - Controllo Paolo Salvaneschi 19

20 Utilizzo delle misure Utilizzo delle misure Misura della qualità ai fini dell'accettazione Scopo: valutare caratteristiche di qualità del prodotto (es. manutenibilità) i cui valori sono definiti nei requisiti non funzionali. A5 - Controllo Paolo Salvaneschi 20

21 Utilizzo delle misure Monitoraggio della qualità durante il processo produttivo di prodotto Scopo: tenere sotto controllo il livello di qualità del prodotto durante lo sviluppo, al fine di identificare in anticipo i problemi e intervenire Le misure possono essere svolte dal produttore o, in caso di rilasci intermedi ufficiali, dal committente del prodotto o da terza parte. A5 - Controllo Paolo Salvaneschi 21

22 Utilizzo delle misure Valutazione della qualità per diagnosi e reingegnerizzazione Scopo: valutare la qualità di un prodotto esistente la cui qualità deve essere migliorata Individuare la convenienza ed i costi della reingegnerizzazione e le modifiche da apportare. Al termine della valutazione è fornita la diagnosi dello stato del prodotto e la terapia indicante le modifiche da intraprendere per l'ottenimento della qualità richiesta. A5 - Controllo Paolo Salvaneschi 22

23 Esempi di misure Esempi di misure LOC N. di linee di codice Esclusi i commenti Usato storicamente come stimatore dello sforzo di programmazione Interpretazione dipendente dal linguaggio e dal tipo di applicazione A5 - Controllo Paolo Salvaneschi 23

24 Esempi di misure Numero ciclomatico (Mc Cabe) Dato il grafo di controllo di un programma, misura il numero di cammini linearmente indipendenti che, a partire dal nodo iniziale, raggiungono il nodo terminale V(G) = = e - n + 2 e numero degli archi (flusso di controllo) n numero dei nodi (comandi) A5 - Controllo Paolo Salvaneschi 24

25 Esempi di misure Grafo di controllo 1 Read (x) 2 Read (y) If (x>y) 3 then x=x+1 4 else x=x-1 5 Write (x) 6 Write (y) V(G) = e-n+2 V(G) = 6-6+2=2 Due cammini linearmente indipendenti dal nodo iniziale al nodo finale A5 - Controllo Paolo Salvaneschi 25

26 Esempi di misure Interpretazione: Un valore elevato di V(G) per un modulo indica una struttura complessa di controllo che influenzerà (assieme ad altri fattori) la manutenibilità del modulo stesso Si dimostra che: V(G) = d + 1 (d: numero di decisioni binarie) Misura un attributo della struttura di controllo di un programma Non è una misura di complessità (cosa è la complessità?) Non è una misura di manutenibilità (anche altri fattori contribuiscono alla manutenibilità) A5 - Controllo Paolo Salvaneschi 26

27 Esempi di misure V(G) = 4-5+2=1 V(G) = 7-6+2=3 A5 - Controllo Paolo Salvaneschi 27

28 Esempi di misure Fan in, Fan out Applicato ad un modulo Fan in: n. di moduli che chiamano il modulo misurato Fan out: n. di moduli che il modulo misurato chiama Un fan in elevato suggerisce un accoppiamento elevato con gli altri moduli dell architettura Un fan out elevato suggerisce una complessità interna elevata del modulo A5 - Controllo Paolo Salvaneschi 28

29 Esempi di misure Profondità dell albero di ereditarietà Numero di livelli nel grafo di specializzazione delle classi Interpretazione: più il valore di profondità è elevato, più il progetto è complesso e difficile da capire A5 - Controllo Paolo Salvaneschi 29

30 Misurare la qualità di prodotto Misurare la qualità di prodotto Esempio: misura di manutenibilità A5 - Controllo Paolo Salvaneschi 30

31 Misurare la qualità di prodotto Per ottenere stime di caratteristiche di qualità (es. manutenibilità) è necessario: Pianificare un insieme di misure diverse Eseguire le misure Interpretare i singoli risultati Integrare l insieme dei risultati al fine di ottenere un valore dell attributo stimato A5 - Controllo Paolo Salvaneschi 31

32 Misurare la qualità di prodotto Pianificare un insieme di misure diverse Matrice di qualità e piano di qualità Test Prototipi Ispezioni Misure quantitative Misure qualitative A5 - Controllo Paolo Salvaneschi 32

33 Misurare la qualità di prodotto Pianificare un insieme di misure diverse Cosa misurare: la qualità nel contesto Scenari (qualità di un componente nel contesto di uso) Componente Billing Modifica contratto Componente Billing Modifica Norme legislative Manutenibilità A5 - Controllo Paolo Salvaneschi 33

34 Misurare la qualità di prodotto Pianificare un insieme di misure diverse Dimensione media dei moduli in LOC Numero ciclomatico medio dei moduli Coesione ed accoppiamento Indicatori di qualità della documentazione dei moduli Indicatori di qualità della documentazione dell architettura. A5 - Controllo Paolo Salvaneschi 34

35 Misurare la qualità di prodotto Interpretare i singoli risultati Misura Interpretazione V(G) fino a 20 1 positivo tra 20 e 40 0,5 neutro maggiore di 40 0 negativo A5 - Controllo Paolo Salvaneschi 35

36 Misurare la qualità di prodotto Integrare l insieme dei risultati al fine di ottenere un valore dell attributo stimato Definire un criterio per identificare, a partire dalla singole interpretazioni, il valore stimato Media, Media pesata, Mediana Regole di integrazione.. A5 - Controllo Paolo Salvaneschi 36

37 Esempio Esempio di apparato di misura A5 - Controllo Paolo Salvaneschi 37

38 Misurare la qualità di prodotto Misurare la qualità di prodotto Esempio: misura di usabilità e interazione di usabilità / sicurezza con tecniche di ingegneria del software sperimentale A5 - Controllo Paolo Salvaneschi 38

39 Esempio Esempio di Valutazione sperimentale dell usabilità di sistemi per la sicurezza U. Piazzalunga, P. Salvaneschi, P. Coffetti, The Usability of Security Devices Book chapter in: L. Cranor and S.L. Garfinkel ed. Designing Secure Systems That People Can Use O Reilly Media, Academic and Professional Series, 2004 The 3 form factors used in the usability tests. 1. Purpose and scope definition 2. Context and roles definition 3. User selection 4. Task definition 5. Measurement apparatus design 6. Execution and data collection 7. Processing for statistical significance 8. Computation of the quality attributes scores 9. Results interpretation and explanation A5 - Controllo Paolo Salvaneschi 39

40 Esempio The base type of USB tokens collapse in one single object both the smart card reader and the cryptographic smart card IC. The advanced USB token adds a mass storage to the base type; when connected to the host system, this token will make available as separate resources both the smart card (and its reader) and a removable hard drive for general purpose storage A5 - Controllo Paolo Salvaneschi 40

41 Esempio Usability Test Method Purpose and scope definition. We define the aims of the test (e.g., the comparison of the usability of two types of devices) and sets the limits of the test. Context and roles definition. The context for the experimental scenario is designed, including the real environment we want to simulate, the roles of the users, the type of tasks they need to achieve, etc. Each role has to be clearly specified, including the possible actions of a supervisor. User selection. The selection criteria of users are defined according with the selected context and aims of the test. The number of users has to be chosen to provide a wide-enough sample to support the statistical analysis of data. Task definition. The tasks to be executed by each user (sequence of steps, input data, output data) are defined. Measurement apparatus design. We choose a set of metrics and specify their relationships with the usability attributes. For each metric, we define name, description, scale, and procedure to collect the raw data and to compute the measurement. Execution and data collection. The test is executed and the data are collected. A5 - Controllo Paolo Salvaneschi 41

42 Esempio Processing for statistical significance. The data are processed to assure their statistical significance (e.g., a metric is the result of the computation of a mean value of raw data and it is required to compare two mean values coming from two different security devices). Computation of the quality attributes scores The ISO 9126 quality model is a tree where the usability is linked to a set of attributes and each attribute is evaluated through a set of metrics. To compare the quality profile of two products, for example, it is useful to compute the score for each quality attribute by considering the contribution of a number of metrics. This may be done through a procedure that takes as input the sets of measures and computes the score of the quality attributes. Note that this procedure has to consider diverse types of measures, including quantitative measures, as well as qualitative ones, coming, for example, from expert s evaluations. Results interpretation and explanation. Finally, we need to interpret the whole set of results and suggest possible causal explanations useful for generating design recommendations. A5 - Controllo Paolo Salvaneschi 42

43 Esempio Purpose and scope definition The scenario set up for this study compares the usability (and the usability security interaction) of three alternative realizations of a simple but widespread PKI-based system. These alternatives differ for the personal security devices used: the traditional plastic smart card with a USB smart card reader and two types of USB tokens (labelled as base and advanced token). A5 - Controllo Paolo Salvaneschi 43

44 Esempio Context and roles definition. The role assigned to the participant was to be responsible for the preparation and launch of an advertising campaign to promote a new product. Tasks for this job position included frequent travels among the different sites of her company and most of the material to be delivered for the campaign had to be sent to colleagues through s. Given the high competition in the market targeted by the new product, a strong level of security protection was demanded on all communications. To this end, a cryptographic device with her personal digital certificates was prepared. The company had a technical support team to assist her, should any trouble arise with the device. Her manager advised to keep to the minimum possible the calls to the support team, since it had limited staff. The test involves both a number of participants (the users) and a supervisor. The supervisor has the following roles: Drive the initial phase of the test, giving the user all the required inputs. Collect the measures during the test. Act as the customer support service during the test execution. Drive the final phase to collect the questionnaire. A5 - Controllo Paolo Salvaneschi 44

45 Esempio User selection. We selected ten participants for the user test. All of them were at their second or third year of undergraduate studies in an engineering college. While they were all skilled with the use of and computers, they did not have any previous experience with securing or cryptographic devices. The number of users was chosen to provide a wide-enough sample (10 samples for each device type) to support the statistical analysis of data. A5 - Controllo Paolo Salvaneschi 45

46 Esempio Task definition. The participant had to move across three company's sites where her work was required. Three workstations in three different university labs simulated this set up. At each site the user had to execute the following tasks and then proceed to the next site. Install drivers and software for the device. Send an encrypted and signed to a colleague through the standard Outlook encryption and signing procedure, which requires her to provide the password to authorize the signature operations on the device. The text and the recipient for the where contained in the documents handed out; the client was configured to include beforehand the digital certificate of the recipient. The user s digital certificate is automatically available right after the device is inserted. At the end of the three sites, the supervisor gave to the user the hardware for the second form factor and the user repeated the step 1 and 2 for the three sites. The same process was executed for the third form factor. A5 - Controllo Paolo Salvaneschi 46

47 Esempio Measurement apparatus Metrics and their relationships with the usability attributes. For example, the number of requests to the customer service and the time for sending contribute to the low cost to operate attribute value. A5 - Controllo Paolo Salvaneschi 47

48 Esempio Measurement apparatus Usability / security interaction The ISO standard does not model this type of attributes, because it describes an interaction between properties (usability and security). A5 - Controllo Paolo Salvaneschi 48

49 Esempio Measurement apparatus The following errors are classified as security errors: Failure to encrypt an . The secret supposed to be protected was sent in clear. Failure to sign an . It prevents the recipient from verifying the author and the integrity of the . Failure to bring the cryptographic device in the new location. The device is left on the desk or plugged in the workstation; this situation may allow attackers to get access to the user's private key. Access to private keys is protected through password authentication user need to log in and be authenticated by the smart card IC. Even though most of the cryptographic devices implement password-locking functionalities to prevent brute force attacks, badly chosen passwords or social engineering attacks may result in a private key compromise. A5 - Controllo Paolo Salvaneschi 49

50 Esempio Measurement results Probabilità di rigettare a torto l ipotesi che SC e BT siano eguali (l ipotesi avrebbe dovuto essere accettata) Test della significatività della differenza tra le due medie con la distribuzione t di Student A5 - Controllo Paolo Salvaneschi 50

51 Esempio Measurement results A5 - Controllo Paolo Salvaneschi 51

52 Esempio Measurement results A5 - Controllo Paolo Salvaneschi 52

53 Esempio Measurement results A5 - Controllo Paolo Salvaneschi 53

54 Esempio Measurement results The results of the questionnaire. (a) Mean score values of the users evaluation of mobility and usability. (b) Preference of purchase. A5 - Controllo Paolo Salvaneschi 54

55 Esempio Summary of the usability attributes scores A5 - Controllo Paolo Salvaneschi 55

56 Esempio Causal explanation of the nature of the security errors A node of the graph represents a type of events, while an oriented arc defines an influence relation between a node and his parents. The couple of numbers n/t means that, out of a total of t events, n influenced the linked event. The data were coming from the measurements and the supervisor annotated comments taken during the experiment. A5 - Controllo Paolo Salvaneschi 56

57 Esempio Out of a total of 35 security errors, 21 occurred while using smart cards, 9 with the base tokens, and only 5 with the advanced ones (these 35 security errors represent the 15% of the total 230 and mobility tasks). Most of the errors were due to: (i) improper connections of the devices or (ii) the failure to bring along the hardware when moving to a different location. A5 - Controllo Paolo Salvaneschi 57

58 Esempio It can be stated that the smart card form factor is familiar to millions of people while the USB token is not. The experimental results reported here, however, indicates that this claim does not translate into good usability and security, at least when the smart card is to be used actively for security purposes on present day computers. Indeed, current smart card deployment seems to often ignore a simple but hardly surprising usability issue, the correct card insertion. For example, the graphics printed on Amex Blue or Target smart cards provides no clear visual clue to users about which is the side and edge that would need to be inserted into the reader. Furthermore, many smart card readers do not offer a clear visual feedback to user when the smart card is properly positioned. The introduction of these two designs visual clues on the graphics printed on the smart card and good visual feedback from readers would likely limit the usability problems related to proper smart card insertion. The reason for a better usability of the USB tokens is rooted into the minor number of components involved and the well-designed usability of the USB connector (users can plug a USB device in one way only). The advanced tokens best results are further linked to a side effect of a software usability issue in the client: the token was already plugged in due to its use in installation. Therefore it bypassed the failure of the software to remind users to insert the device for signing s. A5 - Controllo Paolo Salvaneschi 58

59 Misure di servizio, progetto, processo Le misure relative ai prodotti possono essere utilizzate anche per valutare, controllare, gestire servizi, progetti, processi Valutazione di scarsa manutenibilità del prodotto: Possibile indicatore di carente progettazione Possibile indicatore di carente professionalità dei programmatori Possibile indicatore di pianificazione carente o vincoli di tempo non compatibili con la qualità attesa Difettosità elevata del prodotto in esercizio: Possibile indicatore di carenze del processo di testing A5 - Controllo Paolo Salvaneschi 59

60 Misure di servizio, progetto, processo Dal prodotto software al servizio Software + piattaforma di delivery Servizio Misurarele risorse Introdurre la variabile tempo La misura come base per la definizione dei Service Level Agreement A5 - Controllo Paolo Salvaneschi 60

61 Misure di servizio, progetto, processo Misurare i progetti Misurare le caratteristiche tecniche Misurare le risorse Avanzamento delle attività Costi Sforzi A5 - Controllo Paolo Salvaneschi 61

62 Misure di servizio, progetto, processo A5 - Controllo Paolo Salvaneschi 62

63 Misure di servizio, progetto, processo Misurare i processi Un processo può essere gestito e migliorato attivando la raccolta e la valutazione periodica di un insieme di misure al fine di Valutare la qualità del processo (maturità) Intraprendere azioni di miglioramento A5 - Controllo Paolo Salvaneschi 63

64 Misure di servizio, progetto, processo Esempi di misure Processo di sviluppo N. progetti fuori costo previsto a budget / n.totale progetti N. progetti fuori tempo previsto di consegna / n.totale progetti N.lamentele gravi dei clienti N. difetti sui prodotti rilasciati in esercizio /LOC.. Processo di manutenzione N.segnalazioni risolte / n.segnalazioni totali nel periodo Tempo medio di risoluzione A5 - Controllo Paolo Salvaneschi 64

65 Misure di servizio, progetto, processo ISO/IEC 15939: 2007 Software Measurement Process PSM (Practical Software and Systems Measurement) Practical Software and System Measurement (PSM) is sponsored by the Department of Defense and the US Army. The goal of the project is to provide Project Managers with the objective information needed to successfully meet cost, schedule, and technical objectives on programs. PSM is based on actual measurement experience on DoD, Government and Industry programs. PSM served as the base document for the development of ISO/IEC PSM provides additional details on the activities and tasks presented in ISO/IEC 15939, and provides detailed steps to successfully meet these tasks. A5 - Controllo Paolo Salvaneschi 65