Misura delle prestazioni

Transcript

1 Misura delle prestazioni

2 Prestazioni: differenti prospettive Prospettiva dell acquirente dato un insieme di macchine, quale ha le migliori prestazioni? il minor costo? Il miglior rapporto prestazioni/costo? Prospettiva del progettista di fronte a possibili soluzioni progettuali alternative, quale presenta il miglior incremento delle prestazioni? il minor costo? il miglior rapporto prestazioni/costo?

3 Due concetti di prestazioni

4 Tempo di risposta (o di esecuzione) Throughput Due misure possibili Quanto tempo devo aspettare per l uscita del mio programma? Quanto tempo per lanciare il mio programma? Quanto tempo per eseguire il mio programma? Quanto lavoro viene svolto? Quanti programmi possono essere eseguiti insieme? Qual è il rate di esecuzione medio? Quali sono gli effetti dovuti a: upgrade di un computer con un processore più veloce acquisto di un nuovo computer

5 Tempo di risposta (o di esecuzione) Prestazioni(X) = 1 / Tempo di esecuzione(x) " X è n volte più veloce di Y" significa: n = Prestazioni(X) / Prestazioni(Y) = Tempo di esecuzione(y) / Tempo di esecuzione(x)

6 Programmi per valutare le prestazioni Quale programma usare per valutare le prestazioni di una macchina? L ideale sarebbe di usare l insieme di programmi che si sa di dover eseguire sulla macchina (workload), ma non è sempre possibile. In alternativa, si potrebbero usare dei programmi campione (benchmark). Difficoltà: Soluzioni: le caratteristiche del benchmark devono essere simili a quelle del workload il benchmark deve essere standard benchmark sintetici (Whetstone, Dhrystone, kernel benchmark) mix di applicazioni reali (SPEC)

7 SPEC (Standard Performance Evaluation Corporation) Usualmente ci si basa su benchmark ( programmi campione ) Per aumentare la predicibilità, raccolte di benchmark, dette benchmark suite, sono popolari Uno dei tentativi di maggior successo di suite è stato SPEC (Standard Performance Evaluation Corporation) SPECCPU: popolare suite di benchmark per desktop CPU soltanto, programmi su interi e floating point SPECint2000 ha 12 programmi su interi, SPECfp2000 ne ha 14 SPECCPU2006 ha 12 benchmark su interi e 17 su floating point SPECSFS (NFS file server) e SPECWeb (WebServer) aggiunti come benchmark per server Transaction Processing Council misura prestazioni dei server e rapporto costoprestazioni per database TPC-C simula un complesso ambiente di interrogazione per elaborazione di transazioni online TPC-H modella un supporto alle decisioni TPC-W è un benchmark web transazionale TPC-App è destinato ai server applicativi e ai servizi web

8 SPECint 2000

9 SPECfp 2000

10 Come esprimere sinteticamente le prestazioni di una suite: lo SPECRatio La media aritmetica dei tempi di esecuzione di tutti i programmi? Ma essi variano di 4 volte in tempi di esecuzione, così alcuni sarebbero più importanti di altri Si potrebbe aggiungere un peso per programma, ma come scegliere i pesi? Differenti compagnie vogliono differenti pesi per i loro prodotti SPECRatio: Normalizzare i tempi di esecuzione a un calcolatore di riferimento, ottenendo un rapporto proporzionale alle Prestazioni = tempo sul calcolatore di riferimento tempo sul calcolatore sotto esame

11 SPECRatio Se, con un determinato benchmark, lo SPECRatio sul calcolatore A è 1.25 volte più grande di quello sul calcolatore B, allora 1.25 SPECRatio SPECRatio A B ExecutionTime ExecutionTime B A ExecutionTime ExecutionTime ExecutionTime ExecutionTime Performance Performance reference reference A B A B Notare che quando si confrontano 2 calcolatori come un rapporto, i tempi di esecuzione sul calcolatore di riferimento si elidono, e quindi la scelta del calcolatore di riferimento è irrilevante

12 SPECRatio: Media geometrica Poiché si sta usando dei rapporti, l appropriata media è quella geometrica (SPECRatio non ha unità di misura, perciò la media aritmetica sarebbe priva di significato) GeometricMean n n i1 SPECRatio i 1. La media geometrica dei rapporti è uguale ai rapporti delle medie geometriche 2. Il rapporto delle medie geometriche = media geometrica dei rapporti delle prestazioni la scelta del calcolatore di riferimento è irrilevante! Questi due punti rendono la media geometrica dei rapporti attraente per esprimere le prestazioni

13 ln(specratio): calcolo della media e della standard deviation geometriche Una singola media può riassumere bene le prestazioni dei programmi in una benchmark suite? Si può decidere se la media è un buon predittore caratterizzando la variabilità della distribuzione usando la standard deviation Come la media geometrica, la standard deviation geometrica è moltiplicatica piuttosto che additiva Basta semplicemente prendere il logaritmo degli SPECRatio, calcolare la media aritmetica e la standard deviation aritmetica dei logaritmi, e quindi prendere l esponente per riconvertire: n 1 GeometricMean exp ln n i1 GeometricStDev exp StDev ln SPECRatio SPECRatio i i

14 Distribuzione lognormale degli SPECRatio La standard deviation ha più contenuto informativo se sappiamo che la distribuzione ha una forma standard distribuzione normale con la forma a campana, i cui dati sono simmetrici intorno alla media distribuzione lognormale, dove sono i logaritmi dei dati non i dati stessi ad essere distribuiti normalmente (simmetrici) su una scala logaritmica Per una distribuzione lognormale, ci aspettiamo che il 68% dei campioni cada nell intervallo mean / gstdev, mean gstdev 2 il 95% dei campioni cada nell intervallo mean / gstdev 2, mean gstdev Nota: EXcel fornisce le funzioni EXP(), LN(), e STDEV() che rendono facile il calcolo della media geometrica e della standard deviation geometrica

15 Legge di Amdahl Il miglioramento di prestazione (accelerazione o speedup) ottenibile mediante l uso di alcune modalità di esecuzione più veloci è limitato dalla frazione di tempo in cui queste modalità possono essere impiegate. Es. La nuova CPU sia 10X più veloce ma il server sia limitato da I/O, così che il 60% del tempo è in attesa per I/O.. ExTimenew ExTimeold 1 Fractionenhanced Fractionenhanced Speedup enhanced Speedup overall ExTime ExTime old new 1 Fraction enhanced 1 Fraction Speedup enhanced enhanced

16 Esempio legge di Amdahl La nuova CPU sia 10X più veloce Server limitato da I/O, così che il 60% del tempo è in attesa per I/O Speedup overall 1 1 Fraction enhanced 1 Fraction Speedup enhanced enhanced Apparentemente, si è attratti dal 10X più veloce, ma bisogna tener presente che, tenuto conto di tutto, è soltanto 1.6X più veloce

17 CPI

18