Misura delle prestazioni

Transcript

1 Misura delle prestazioni

2 Prestazioni Prestazioni(X) 1 / Tempo di esecuzione(x) " X è n volte più veloce di Y" significa: n Prestazioni(X) / Prestazioni(Y) Tempo di esecuzione(y) / Tempo di esecuzione(x)

3 Prestazioni: cosa misurare Usualmente ci si basa su benchmark ( programmi campione ) Per aumentare la predicibilità, raccolte di benchmark, dette benchmark suite, sono popolari Uno dei tentativi di maggior successo di suite è stato SPEC (Standard Performance Evaluation Corporation) SPECCPU: popolare suite di benchmark per desktop CPU soltanto, programmi su interi e floating point SPECint2000 ha 12 programmi su interi, SPECfp2000 ne ha 14 SPECCPU2006 ha 12 benchmark su interi e 17 su floating point SPECSFS (NFS file server) e SPECWeb (WebServer) aggiunti come benchmark per server Transaction Processing Council misura prestazioni dei server e rapporto costoprestazioni per database TPC-C simula un complesso ambiente di interrogazione per elaborazione di transazioni online TPC-H modella un supporto alle decisioni TPC-W è un benchmark web transazionale TPC-App è destinato ai server applicativi e ai servizi web 11/17/2008 3

4 Come esprimere sinteticamente le prestazioni di una suite: lo SPECRatio La media aritmetica dei tempi di esecuzione di tutti i programmi? Ma essi variano di 4 volte in tempi di esecuzione, così alcuni sarebbero più importanti di altri Si potrebbe aggiungere un peso per programma, ma come scegliere i pesi? Differenti compagnie vogliono differenti pesi per i loro prodotti SPECRatio: Normalizzare i tempi di esecuzione a un calcolatore di riferimento, ottenendo un rapporto proporzionale alle Prestazioni tempo sul calcolatore di riferimento tempo sul calcolatore sotto esame 11/17/2008 4

5 SPECRatio Se, con un determinato benchmark, lo SPECRatio sul calcolatore A è 1.25 volte più grande di quello sul calcolatore B, allora 1.25 SPECRatio SPECRatio A B ExecutionTime ExecutionTime B A ExecutionTime ExecutionTime ExecutionTime ExecutionTime Performance Performance reference reference A B A B Notare che quando si confrontano 2 calcolatori come un rapporto, i tempi di esecuzione sul calcolatore di riferimento si elidono, e quindi la scelta del calcolatore di riferimento è irrilevante 11/17/2008 5

6 SPECRatio: Media geometrica Poiché si sta usando dei rapporti, l appropriata media è quella geometrica (SPECRatio non ha unità di misura, perciò la media aritmetica sarebbe priva di significato) GeometricMean n n i 1 SPECRatio i 1. La media geometrica dei rapporti è uguale ai rapporti delle medie geometriche 2. Il rapporto delle medie geometriche media geometrica dei rapporti delle prestazioni la scelta del calcolatore di riferimento è irrilevante! Questi due punti rendono la media geometrica dei rapporti attrente per esprimere le prestazioni 11/17/2008 6

7 ln(specratio): calcolo della media e della standard deviation geometriche Una singola media può riassumere bene le prestazioni dei programmi in una benchmark suite? Si può decidere se la media è un buon predittore caratterizzando la variabilità della distribuzione usando la standard deviation Come la media geometrica, la standard deviation geometrica è moltiplicatica piuttosto che additiva Basta semplicemente prendere il logaritmo degli SPECRatio, calcolare la media aritmetica e la standard deviation aritmetica dei logaritmi, e quindi prendere l esponente per riconvertire: n 1 GeometricMean exp ln n i 1 GeometricStDev exp ( SPECRatioi) ( StDev( ln( SPECRatioi) )) 11/17/2008 7

8 Distribuzione lognormale degli SPECRatio La standard deviation ha più contenuto informativo se sappiamo che la distribuzione ha una forma standard distribuzione normale con la forma a campana, i cui dati sono simmetrici intorno alla media distribuzione lognormale, dove sono i logaritmi dei dati non i dati stessi ad essere distribuiti normalmente (simmetrici) su una scala logaritmica Per una distribuzione lognormale, ci aspettiamo che il 68% dei campioni cada nell intervallo mean / gstdev, mean gstdev il 95% dei campioni cada nell intervallo mean / gstdev 2, mean gstdev [ ] 2 [ ] Nota: EXcel fornisce le funzioni EXP(), LN(), e STDEV() che rendono facile il calcolo della media geometrica e della standard deviation geometrica 11/17/2008 8

9 GM e GStDev di SPECfp2000 per Itanium GM GM 2712 GSTEV GStDev wupwise swim mgrid applu mesa galgel art equake facerec ammp lucas fma3d sixtrack apsi SPECfpRatio /17/2008 9

10 GM e GStDev di SPECfp2000 per AMD Athlon GM GM 2086 GStDev GSTEV 1.40 wupwise swim mgrid applu mesa galgel art equake facerec ammp lucas fma3d sixtrack apsi SPECfpRatio /17/

11 Commenti su Itanium 2 e Athlon La standard deviation di 1.98 per Itanium 2 è molto più alta rispetto a 1.40 così i risultati differiranno più largamente dalla media, e perciò sono meno predicibili Cadono entro una standard deviation: 10 su 14 benchmarks (71%) per Itanium 2 11 su 14 benchmarks (78%) per Athlon Così, i risultati sono abbastanza compatibili con una distribuzione lognormale (ci si aspettava il 68%) 11/17/

12 Legge di Amdahl 1 ( ) + ( 1 ) + 11/17/

13 Esempio legge di Amdahl La nuova CPU sia 10X più veloce Server limitato da I/O, così che il 60% del tempo è in attesa per I/O Speedup overall ( 1 Fraction ) 1 ( 1 0.4) enhanced 1 Fraction + Speedup enhanced enhanced Apparentemente, si è attratti dal 10X più veloce, ma bisogna tener presente che, tenuto conto di tutto, è soltanto 1.6X più veloce 11/17/

14 Equazione delle prestazioni della CPU CPU time CPU Clock Cycles Clock cycle time CPU n time ICi CPIi Clock cycle time i 1 Per ciascun tipo di istruzione Quanti cicli prende l esecuzione di un istruzione di questo tipo Quante istruzioni di questo tipo sono eseguite nel programma Tipo di istruzione Frequenza CPI Integer 40% 1.0 Branch 20% 4.0 Load 20% 2.0 Store 10% 3.0