Validazione Empirica del Pair Programming

Transcript

1 Validazione Empirica del Pair Programming Tesi di Dottorato di Ricerca Ingegneria dell Informazione Ciclo XVII Studente: Corrado Aaron Visaggio Relatori: Prof. Gerardo Canfora & Prof. Aniello Cimitile Corrado Aaron Visaggio 1 Motivazione Gli approcci plan driven per lo sviluppo del software possono fallire in contesti dove : la disponibilità di risorse può variare in modo impredicibile, la time pressure è molto più forte di quella attesa, i requisiti del sistema da sviluppare sono emergenti o instabili. Sono state proposte alcune alternative per far fronte a questi problemi salvaguardando la qualità del processo e del prodotto: processo a spirale di Boehm, Radip Application Development, Rational Unified Process (...). C è un urgente necessità di ottenere una flessibilità maggiore di quella che questi processi offrono. Nell ultima decade i Metodi Agili per lo sviluppo del software hanno proposto un modo radicalmente differente di gestire il processo software. Corrado Aaron Visaggio 2

2 Il Problema (1/2) Nel 2001 è stato pubblicato il Manifesto Agile, che definisce la modalità agile di sviluppare il software. Il dubbio: i metodi agili possono deteriorare il rigore e la disciplina ingegneristica garantita dagli approcci plan-driven? V1: Individuals and interactions over process and tools: il processo rimane ripetibile / predicibile / affidabile? V2: Working software over comprehensive documentation: quali sono le conseguenze sulla manutenibilità/ trasferibilità / comprensibilità del prodotto? V3: Customer collaboration over contract negotiation: senza un accurata analisi dei requisiti è possibile realizzare un buon prodotto con un buon processo? V4: Responding to change over following a plan: è possibile fare stime affidabili sul processo? Cosa accade al process management? Corrado Aaron Visaggio 3 Il Problema (2/2) e gli Obiettivi di Ricerca Il punto: i metodi agili sembrano contrastare con alcune buone pratiche dell ingegneria del software. Non è possibile approfondire tutte le pratiche agili nello spazio di una tesi: il Pair Programming (2P) è l obiettivo della ricerca. Problematiche del 2P 1) Qualità di Processo 2) Trasferibilità/tracciabilità di processo e di prodotto 3) Limiti di Applicabilità della Pratica Specific Benefits Suitable contexts Pair Programming Costs/Benefits Domande di ricerca 1) Costi/Benefici: il 2P è vantaggioso in termini di ROI? 2) Specifici Benefici: il 2P può servire per diffondere la conoscenza? 3) Contesti Applicativi: il 2P è adeguato a tutti i contesti di sviluppo? Corrado Aaron Visaggio 4

3 Il Piano di Ricerca e il Metodo Scopo della ricerca: validare, attraverso metodi empirici, l efficacia e l efficienza del pair programming, da tre prospettive: rapporto costi/benefici, specifici benefici della pratica, contesti di applicazione adeguati. Domande di Ricerca: fattori da studiare Esperimenti controllati con studenti: identificare (e rimuovere) difetti nel disegno sperimentale si Bugs? no Phd thesis Post-doc Esperimenti controllati nelle aziende: far convergere gli obiettivi Esperimenti sul campo: risultati affidabili Trasferimento tecnologico Corrado Aaron Visaggio 5 Stato dell Arte (studi empirici sul pair programming) Variabili dipendenti: Qualità del prodotto Produttività Morale Trasferimento della conoscenza Tipologia di esperimenti: Esperimenti controllati con studenti Casi di Studio Esperimenti controllati con sviluppatori professionisti Gallis all International Symposium on Empirical Software Engineering 2003: e necessario aumentare il numero di casi di studio industriali. esperimenti controllati. Corpo di conoscenza non ancora maturo Corrado Aaron Visaggio 6

4 La Prima Dimensione Suitable contexts Pair Programming Specific Benefits Costs/Benefits Rapporto Costi/Benefici Benefici Specifici Contesti applicativi Il pair programming è uno strumento efficace per aumentare le prestazioni di una squadra di progetto? Corrado Aaron Visaggio 7 La Produttività nel Pair Programming congettura Lo scambio dei ruoli consente di ridurre i tempi di latenza dovuti alla ricerca di soluzioni efficaci per l insorgere di nuovi problemi La continua discussione dovrebbe accellerare la condivisione delle migliori strategie (di progettazione, programmazione, analisi, testing) Queste due caratteristiche dovrebbero consentire di: incrementare la produttività individuale dei programmatori rendere più predicibili i tempi di sviluppo Il pair programming può essere utilizato per accelerare e rendere più predicibili i tempi di sviluppo? Corrado Aaron Visaggio 8

5 La Sperimentazione Obiettivi di Ricerca: RQ1: Produttività:si suppone che il pair programming possa incrementare la produttività individuale dello sviluppatore. RQ2 :Predicibilità dello sforzo: si suppone che il pair programming possa ridurre i picchi positivi e negativi di produttività individuale. Esperimenti: Due esperimenti all Università del Sannio Ipotesi Nulle: H 0RQ1 : il pair programming non modifica la velocità di sviluppo. H 0RQ2 : il pair programming non rende più predicibili i tempi di sviluppo. Corrado Aaron Visaggio 9 Risultati Produttività Statistic mean std dev moda La statistica descrittiva mostra una netta convenienza nell adozione del pair programming 0 pair 1st run solo 1st run pair 2nd run solo 2nd run Treatment Test Between Rank sum (α) Rank sum (β) p-level Subjects in Pair (α) 274, ,000 0,04427 Subject as solo (β) In the 1 st run Subjects in Pair (α) 487, ,000 0,03512 Subject as solo (β) In the 2 nd run Subjects in Pair in the 1 st run (α) Subject in Pair in the 2 nd run (β) 410,00 410,000 1,00000 Subjects as solos in the 1 st run (α) Subject as solos in the 2 nd run (β) 572, ,000 0,94537 Evidenza empirica in entrambi i run: il pair programming aumenta la produttività Corrado Aaron Visaggio 10

6 Risultati Predicibilità Media Tempi F= (max-min)/mediana Medie dei tempi 1,66*-1, ,75*-1, Group 1 Group Group 6 1,02*-0,83 Group 3 Group 7 30 Group 4 15 Group Task 1 Task 2 Task 3 Group Task 1 Task 2 Task 3 pair solo pair Varianza solo *valore da dividere per due Varianza Varianza Group Group 2 Group 6 10 Group 3 6 Group 7 8 Group 4 Group 8 6 Group Task 1 Task 2 Task 3 0 Corrado Aaron Visaggio 11 Task 1 Task 2 Task 3 La Seconda Dimensione Suitable contexts Pair Programming Specific Benefits Costs/Benefits Rapporto Costi/Benefici Benefici Specifici Contesti applicativi Il pair programming è uno strumento efficace per diffondere e rafforzare la conoscenza? Corrado Aaron Visaggio 12

7 Trasferimento di Conoscenza congettura Uno dei benefici attesi del pair programming è la sua capacità di trasferire conoscenza (soprattutto quella tacita). La fase di progettazione del Software richiede un efficace gestione del ciclo di vita della conoscenza (creazione, aggregazione, diffusione, riuso, etc.) a livello di squadra di progetto e la documentazione è spesso insufficiente, perchè: le strategie di problem solving non sono catturate in modo completo; bisogna gestire diversi livelli di astrazione: implementazione, database, business logic, presentazione, deployment, interoperabilità; la documentazione ha una bassa larghezza di banda : in molti casi la comunicazione verbale diretta è il mezzo più adeguato. Il pair designing può essere uno strumento efficace per diffondere e rafforzare la conoscenza di progetto tra i componenti della squadra? Corrado Aaron Visaggio 13 La Sperimentazione Obiettivi di Ricerca: RQ1 :Diffondere la conoscenza: disseminare la conoscenza nel progetto -fasi iniziali del progetto. RQ2 :Rafforzare la conoscenza: migliorare la conoscenza individuale - fasi avanzate del progetto. Experiments: Un esperimento esplorativo Un esperimento principale (UniSannio). Una Replica (University of Castilla-La-Mancha, Ciudad Real, Spain). Ipotesi Nulle: H 0RQ1 : il pair design non ha influenza sulla diffusione della conoscenza di progetto. H 0RQ2 : il pair design non ha influenza sul rafforzamento della conoscenza di progetto. Corrado Aaron Visaggio 14

8 Test Statistici: Diffusione della Conoscenza Test Between MUTS Pairs (α) MUTS Solos (β) MUTEGS Pairs (α) MUTEGS Solos (β) MUTS Pairs (α) MUTEGS Pairs (β) Pairs 5MSc(α) Solos 5MSc(β) Pairs 3BScSys(α) Solos 3BScSys(β) Pairs 3BScMngmnt(α) Solos 3BScMngmnt(β) Rank Sum α Rank Sum β p-level 116,500 54,50 0,049 78,50 57,50 0, ,00 75,00 0,023 51,500 26,500 0, , ,000 0, , ,00 0,00000 experiment Italian experiment Spanish experiment Interpretazione: Evidenza empirica: il pair programming è uno strumento efficace per la diffusione della conoscenza. congettura: l efficacia del pair programming può dipendere da alcuni parametri indivuali (quali il percorso formativo). Corrado Aaron Visaggio 15 Test Statistici: Rafforzamento della Conoscenza Test Between MUTS Pairs (α) MUTS Solos(β) MUTEGS Pairs (α) MUTEGS Solos (β) MUTS Pairs (α) MUTEGS Pairs (β) Spanish Pairs 3BScSys (α) Spanish Solos 3BScSys (β) Spanish Pairs 5MSc (α) Spanish Solos 5MSc (β) Spanish Pairs 3BScMngmnt (α) Spanish Solos 3BScMngmnt (β) Rank Sum α Rank Sum β p-level 123,500 47,500 0, ,500 66,500 0, ,500 42,500 0, ,500 28,500 0, , , ,500 26,500 0, Experiment Italian experiment Spanish experiment Interpretazione: Evidenza Empirica: conferma dei risultati riguardanti la diffusione della conoscenza Corrado Aaron Visaggio 16

9 La Terza Dimensione Suitable contexts Pair Programming Specific Benefits Costs/Benefits Rapporto Costi/Benefici Benefici Specifici Contesti applicativi Il pair programming è una pratica adeguata allo sviluppo distribuito? Corrado Aaron Visaggio 17 Il Pair Programming Distribuito Lo Sviluppo globale del Software è un paradigma che si sta diffondendo con estrema rapidità ciclidiproduzionedi24h, riduzionedeicostidellerisorse, e supporta la mobilità: processi distributi; Squadre di sivluppo virtuale; Il Pair Programming aumenta la qualità del prodotto senza aumentare significativamente il tempo di sviluppo. congettura Il Pair Programming richiede la fluidità della comunicazione e l efficienza della collaborazione perché possa essere fruttuoso. La distribuzione deteriora le prestazioni del pair programming in termini di qualità e sforzo? Corrado Aaron Visaggio 18

10 La Sperimentazione Obiettivi di Ricerca: RQ1 :Qualità. Il Pair Programming consente di ottenere alti livelli di qualità grazie alla continua revisione del codice RQ2 :Prestazioni. Il lavoro di coppia consente di contenere i tempi di sviluppo perché velocizza il processo di problemsolving. Esperimenti: Un esperimento all Università del Sannio Una replica all Università di Napoli, Federico II. Ipotesi Nulle: H 0RQ1 : Non esistono differenze significative nella qualità del prodotto tra pair programming distribuito e co-locato. H 0RQ2 :Non esistono differenze significative nello sforzo di sviluppo tra pair programming distribuito e co-locato. Corrado Aaron Visaggio 19 Test e Risultati Round I Group A co-located Mann Whitney Group B distributed Round II Group A distributed Mann Whitney Group B co-located p-level Effort round I 0,564 Effort round II 1,000 Quality round I 0,465 Quality round II 0,011 description Mann Whitney test on effort data between Group A (colocated) and Group B (distributed) in round I. Mann Whitney test on effort data between Group A (distributed) and Group B (co-located) in round II. Mann Whitney test on quality data between Group A (colocated) and Group B (distributed) in round I. Mann Whitney test on quality data between Group A (distributed) and Group B (co-located) in round II. Solo il round II ha fornito evidenza empirica (sulla qualità) Corrado Aaron Visaggio 20

11 Dismissal Hypothesis 180 Effort Box Plot ( Run 2v*4c) I 200 Effort Box Plot Run ( 2v*4c) II Var25 Var26 Median 25%-75% 60Non-Outlier Range Var22 Var23 Median 25%-75% Non-Outlier Range Co-located Distributed I I tempi migliori delle dellecoppie distribuite sono sonopiù piùbassi dei dei tempi delle delle migliori coppie co-locate Dopo una fase iniziale di collaborazione la coppia tende ad interrompere la collaborazione Dopo una fase iniziale di collaborazione Corrado Aaron Visaggio la coppia tende ad interrompere 21 la Qualità 9 Run I Box Plot ( 2v*4c) 10 Run II Box Plot ( 2v*4c) Var18 Var19 3 Median 25%-75% Non-Outlier 2 Range Var21 Var22 Median 25%-75% Non-Outlier Range Co-located Distributed La La peggiore Quality qualità results delle give delle coppie a collocate confirmation è of migliore the della dismissal della peggiore hypothesis qualità delle delle coppie distribuite Corrado Aaron Visaggio 22

12 Risultati della Replica p-level Effort 0,083 Quality 0,043 Description Mann Withney tests on effort data between colocated and distributed pairs Mann Whitney tests on quality data between colocated and distributed pairs C è evidenza empirica che la distribuzione deteriora la qualità del prodotto 90 Box Plot ( 2v*4c) Effort 9,5 Quality Box Plot ( 2v*4c) 80 9,0 70 8,5 Effetto della ridotta finestra temporale ,0 7,5 7,0 6,5 6,0 Median 25%-75% 5,5Non-Outlier Range Median 25%-75% Non-Outlier Range Var14 Var15 Var9 Var10 Co-located Distributed Co-located Distributed Corrado Aaron Visaggio 23 : I risultati Il pair programming può garantire un buon rapporto costi/benefici: C è evidenza empirica che la produttività individuale aumenta durante il pair programming. Le coppie forniscono anche una maggiore predicibilità dei tempi richiesti per lo sviluppo di un task. Il pair programming possiede un beneficio specifico: C è evidenza empirica che può diffondere la conoscenza di progetto e rafforzarla. Il pair programming ha limiti di applicabilità: C è evidenza empirica che la distribuzione diminuisce la qualità del prodotto. Corrado Aaron Visaggio 24

13 : I limiti I principali limiti della sperimentazione: La sperimentazione ha incluso solo esperimenti in vitro: debole validità esterna. I processi di misurazione non coglievano completamente gli obiettivi della rilevazione. Limiti contingenti. Le sperimentazioni hanno sofferto limiti legati a vincoli contingenti (finestre temporali più strette del previsto, riduzione dei punti di osservazione) Corrado Aaron Visaggio 25 : Le direzioni future Rafforzare l evidenza esterna, tramite l esecuzione di esprimenti in vivo e casi di studio industriali Approfondire il rapporto tra pair programming e qualità del prodotto (manutenibilità, trasferibilità, evolvibilità, portabilità, etc.) Strumenti di misurazione più complessi e precisi. Corrado Aaron Visaggio 26