Automatic generation of test cases

Transcript

1 Tecniche Automatiche per la Correttezza del Software 2016/2017 Automatic generation of test cases Prof. Salvatore La Torre Alessandro Sacco

2 Overview Testing Manual Testing vs Automated Testing Generazione automatica di Tools Conclusioni 2

3 Testing Il testing è considerato una disciplina fondamentale nell ambito di sviluppo di qualsiasi processo software. punta a mostrare che il software è conforme alle sue specifiche e soddisfa le aspettative del cliente. 3

4 Testing Il processo di test del software ha due obiettivi distinti: dimostrare al cliente e allo sviluppatore che il software soddisfa i suoi requisiti il software si comporta come ci si aspetta scoprire errori o difetti nel software 4

5 Testing Sfortunatamente il testing non può dimostrare che il software è privo di difetti o che si comporterà come specificato in ogni circostanza E possibile misurare la bontà di un processo di testing in termini di efficacia e efficienza 5

6 Testing Quello che si cerca di fare è trovare il maggior numero di malfunzionamenti possibile con il minor numero possibile di test cases. se poi si vuole un software più affidabile, o meno costoso, bisogna privilegiare rispettivamente l efficacia o l efficienza 6

7 Testing Tra le attività di un processo software il testing si configura come la parte più impegnativa e costosa. Questo principalmente a causa della sua enorme difficoltà, che diventa sempre più rilevante man mano che la complessità del software cresce e i requisiti di sicurezza aumentano 7

8 Testing Dal momento che l esigenza di produrre software di qualità cresce sempre più velocemente, è bene valutare la possibilità di automatizzare il processo di testing utilizzando appositi strumenti che consentano di ridurre lo sforzo umano al fine di ottenere risultati quanto più possibili esenti da errori. 8

9 Manual Testing vs Automated Testing Il Testing copre un dominio enorme ma può essere suddiviso in due aree principali: Testing manuale Testing automatizzato 9

10 Manual Testing vs Automated Testing Manual Testing I test case sono eseguiti manualmente senza l ausilio di strumenti o script Operazione di progettazione manuale di, molto onerosa(tempo) Automated Testing Si ricorre all uso di tool, script e software. I test case vengono eseguiti in maniera rapida ed efficace Ripetitivo e noioso Riuso di test già esistenti 10

11 Automated Testing Nel processo di automazione del testing si individuano tre aree di intervento: Generazione automatica di Preparazione ed esecuzione dei test Valutazione dell esito e dell efficacia dei 11

12 Ci sono diversi modi attraverso cui è possibile generare automaticamente : A partire dalla specifica dei requisiti Dall analisi del modello di un progetto(model based testing) Dall analisi statica del codice sorgente Dall osservazione di esecuzioni reali dell applicazione(user session testing) 12

13 Model Based Testing Generare automaticamente casi di test a partire da un modello di progetto Le tecniche di model based testing spesso sono mutuate dalle tecniche di model-checking Differenza: il model checking è una tecnica di verifica formale di correttezza, il model based testing è solo una tecnica di generazione di casi di test 13

14 Model Based Testing (esempi) Dato un Grafo G, cercare di generare che coprono suoi cammini Dato un workflow diagram di un processo o di un servizio, generare che eseguono suoi percorsi 14

15 Model Based Testing (esempio Diagramma) o Diagramma a stati di un sistema file 15

16 Model Based Testing (esempio Diagramma) 16

17 Model Based Testing (esempio Diagramma) Generazione ed Esecuzione 17

18 Random Testing Consiste nella generazione di sequenze casuali di input allo scopo di testare l applicazione. Efficienza: molto bassa ma può condurre alla scoperta di malfunzionamenti che non vengono trovati con strategie di testing più intelligenti 18

19 Random Testing Svantaggi: l Random Testing può portare a rieseguire moltissime volte la stessa esecuzione Un Random Testing più complesso, può avere memoria delle esecuzioni precedenti, per non ripeterle 19

20 Testing basato su Sessioni Utente Idea: Utilizzare i reali utilizzatori di un applicazione come cavie da osservare per generare test cases. Vantaggi: Lo sforzo per la generazione dei casi di test è molto limitato Reali utilizzatori possono sollecitare il sistema in modo che i progettisti non avevano immaginato e previsto 20

21 Testing basato su Sessioni Utente In pratica: vengono installati strumenti che siano in grado di mantenere un log di tutte le interazioni che avvengono tra gli utenti e l applicazione stessa A partire da tali dati vengono formalizzati test cases che replichino le interazioni catturate 21

22 Testing basato su Sessioni Utente Svantaggi: L applicazione deve essere stata già rilasciata Scarsa efficienza (molti test identici tra loro) Il numero di sessioni da prendere in considerazione al fine di poter avere un insieme significativo di può essere molto elevato Il sistema di logging deve essere in grado di monitorare il più possibile 22

23 Testing Mutazionale Utilizzato per ridurre sensibilmente il tempo necessario per la generazione di nuovi (con la tecnica basata su sessioni utente) Consiste nell applicazione di alcuni operatori di mutazione che vanno a modificare/incrociare i dati dei esistenti, in modo da ottenerne dei nuovi 23

24 Combinatorial Testing Si tratta di una tecnica blackbox che, come tale, non richiede l analisi del codice sorgente Consiste in 2 fasi: strutturazione manuale fase automatizzata per la produzione di combinazioni 24

25 Combinatorial Testing Vantaggi: Efficace Facile da applicare 25

26 Tools Ci sono diversi tipi di tools disponibili per la generazione automatica di : Tobias Jpet Combinatorial testing Generazione automatica di per bytecode (java) EvoSuite Test cases generati sono un punto di partenza per il tester umano 26

27 Tools: Tobias Uno strumento free per la generazione di test combinatori. Sviluppa in maniera esaustiva tutte le combinazioni dei parametri e dei metodi d ingresso. 27

28 Tools: Tobias È disponibile attraverso un interfaccia web fornire il proprio indirizzo formato dei dati di input e di output file input gli output generati vengono raggruppati in un file zip, il cui url viene inviato all dell utente 28

29 Tools: Tobias 29

30 Tools: Tobias Il file di input può essere espresso in due formati: TSLT (Test Schema Language for Tobias) TSLT è un linguaggio testuale che comprende la gran parte della sintassi java INTOB Include costrutti aggiuntivi,come filtri ed è molto piu complesso 30

31 Tools: Tobias(Funzionamento) Input Tobias: la firma delle classi che si vuole testare test schema Output Tobias: Test cases 31

32 Tools: Tobias(Esempio Applicazione) Tale file descrive un gruppo nominato EsempioBoundary che è etichettato come [us=true]. Ciò significa che questo gruppo sarà spiegato da Tobias all interno di una test suite 32

33 Tools: Tobias(Esempio Applicazione) 33

34 Tools: Tobias(Esempio Applicazione 2) Tale file descrive un gruppo nominato Add2Coins. {2} indichiamo che vogliamo due chiamate al metodo coin(). 34

35 Tools: Tobias(Esempio Applicazione 2) 35

36 Tools: Tobias (Esempio Applicazione 3) Tale file descrive un gruppo nominato Prova. div.divide(): indichiamo che vogliamo chiamare il metodo divide() della classe Divisione. 36

37 Tools: Tobias(Esempio Applicazione 3) 37

38 Tools: Tobias(Esempio Applicazione 3) 38

39 Tools: Tobias(Esempio Applicazione 3) 39

40 Conclusioni Il testing è un elemento essenziale di qualsiasi processo software di successo. Quello che si vuole è: produrre automaticamente i quanto più leggibili ed efficaci possibile grazie all uso di strumenti automatici 40

41 Bibliografia [1] Tratta da Automated Testing vs Manual Testing: Which Should You Use, and When?, [2] Tobias On-Line documentation, [3] Methodologies for automated software test case generation, 41