Caratterizzazione del carico (workload) di web server

Transcript

1 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 1/38 Caratterizzazione del carico (workload) di web server e del traffico di rete 15/03/04

2 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 2/38 indice il carico (workload) tipi di carico, richieste di servizio, tecniche applicate misurazioni delle attività di web server misurazioni attive e passive, un tool di misurazione sonde di misurazione, parametri per il download di pagine web individuazione problemi di rete, architetturali e di complessità delle pagine web monitoraggio del traffico tipi di tools, case study: monitoraggio di una rete

3 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 3/38 il carico (workload) tipi di carico richieste di servizio tecniche applicate

4 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 4/38 carico (workload) insieme di richieste di servizio inviate dagli utenti alle risorse hw e sw (CPU, dischi,..., oggetti, files, dati,, server, proxy, URL,...) in un intervallo di tempo prefissato la caratterizzazione del carico è indispensabile per la costruzione di modelli del carico in grado di pilotare un sistema in fase di misurazione (onde ottenere un ambiente controllato e riproducibile) costituiti da valori di parametri per modelli dei sistemi (es., modelli a reti di code)

5 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 5/38 tipi di carico l'intensità del carico viene descritta da: caricotransazionale: λ frequenza di arrivo delle richieste, il numero delle richieste nel sistema può variare, modello aperto caricobatch: N numero medio di programmi nel sistema; il suo valore è costante (modello chiuso) caricointerattivo: N numero di utenti interattivi, Z tempo di think, modello chiuso

6 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 6/38 richieste di servizio D (service demands) il tempo globale di servizio richiesto ad ogni risorsa è funzione di due fattori: caratteristiche del carico -ipercorsi delle richieste di un utente tra le varie risorse del sistema determinano le visite V - operazioni effettuate ad ogni visita caratteristiche delle risorse - il tempo medio di servizio S di una risorsa per elaborare una richiesta D = VS i i i

7 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 7/38 classi di componenti costruite mediante algoritmi di clustering un componente è un punto nello spazio a n dimensioni, (n: numero dei parametri che descrivono ogni componente) i punti vengono raggruppati in classi in base a vari criteri (min. distanza, min.varianza,...)

8 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 8/38 misurazioni delle attività di web server misurazioni attive e passive tool di misurazione, sonde, parametri per il download di pagine web individuazione problemi di rete, architetturali e complessità delle pagine

9 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 9/38 tecniche di misura per il Web Passive packet level dump di traffico reale (client side o server side) web server log / proxy server log Attive generazione di traffico reale (log replay) artificiale (stocastico/ deterministico) e misurazione packet level application level

10 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 10/38 misurazioni passive: packet level Come operano un computer sonda intercetta i pacchetti TCP in transito su uno spezzone di rete LAN Tool tcpdump + applicazioni di filtraggio Principali problemi privacy/security mole di dati raccolti (problemi di prestazioni dei tool) difficoltà nella ricostruzione delle informazioni di livello più alto

11 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 11/38 misurazioni passive: log analysis Come operano registrazione attività web server/proxy server Tool tutti i web/proxy permettono di attivare il logging Principali problemi privacy/security/interessi economici per il mining i formati standard di log non contengono informazioni temporali dettagliate

12 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 12/38 misurazioni attive: log replay Come operano un insieme di macchine riproduce il traffico a partire da un log (web/proxy server/client trace) Tool esistono tool gratuiti e commerciali (es webjamma, webload) Principali problemi richiedono un log in input generano traffico verosimile Note molto utili in fase di stress testing per i server

13 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 13/38 misurazioni attive: traffico Web artificiale Come operano un insieme di macchine genera richieste artificiali poco intrusive effettuando delle misurazioni Tool Esistono alcuni tool e società che offrono servizi di monitoraggio

14 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 14/38 WPET: Web Performance Evaluation Tool Uno strumento in grado di misurare le prestazioni di un sito come vengono percepite dagli utenti finali tramite una rete di sonde da una pluralità di punti di osservazione per tipologia di connessione a Internet per area geografica periodicamente (es. ogni 15 minuti) download di oggetti (dimensioni controllate) tramite HTTP/1.1 per un periodo continuativo di tempo (giorni, settimane, mesi, ) Sonde: agenti software configurabili in grado di navigare su uno o più siti Web Punti di vista: ogni sonda è connessa ad Internet utilizzando un provider specifico in una determinata città

15 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 15/38 misurazioni: punti di vista Dial-UP (modem 56K, ISDN) Utenza tipica: Residenziale, PI Internet Sito Web Broadband (ADSL, Fibra) Utenza tipica: PMI, Residenziale Provider Sito Linee dedicate (CDN) Utenza tipica: Grandi Aziende

16 struttura di WPET INTERNET ROOT SLAVE MASTER MASTER ROOT ROOT SLAVE MASTER MASTER 1 1 MASTER MASTER 2 2 MASTER MASTER 3 3 SLAVE SLAVE 1 SLAVE 2 1 SLAVE 2 SLAVE SLAVE 3 SLAVE 4 3 SLAVE 4 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 16/38

17 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 17/38 tipiche operazioni di una sonda Navigare su un sito emulando un utente ad es.: riempire form, eseguire login, selezionare prodotti ed inserirli nel carrello Raccogliere misure sui tempi necessari per eseguire le diverse fasi della navigazione Caratteristiche della sonda supporto di HTTP (1.0 e 1.1) e HTTPS gestione delle sessioni mediante cookie e url-rewriting emulazione di Internet Explorer è in grado di misurare il tempo di download di ogni oggetto

18 input URL output parametri ri object dimensioni dell oggetto (KB) frequenza di campionamento start/stop delle sessioni HTTP download time DNS lookup time TCP connection time server response time transfer time routing DNS LOOKUP CONNECTION RESPONSE TRANSFER CLIENT DNS SERVER SYN - ack WEB SERVER G.Serazzi - aa 2003/04 Impianti Informatici traffic - 18/38 SYN SYN - ack HTTP - GET HTTP - response HTTP -response... time

19 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 19/38 pagine ed oggetti Tempo di scaricamento (s) fine scaricamento dell'oggetto Testo pagina Immagine sfondo Oggetto inizio scaricamento dell'oggetto Banner Menù navigazione tempo totale della pagina

20 tempo [sec] problemi di rete home page di un portale problema pagina server rete Elementi critici: Connettività del sito Provider Housing, Hosting, Leased Line Service Level Agreement Provider (POP) utilizzati dagli utenti tipici Congestione Fenomeni periodici la barra verde misura il carico della rete :peggioramento delle prestazioni aumenta il tempo di rete problema di rete il tempo di pagina risente indirettamente del tempo di rete G.Serazzi - aa 2003/04 Impianti Informatici traffic - 20/38

21 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 21/38 problemi di rete Passi successivi capire se il problema è congiunturale o sistematico, individuare la periodicità del problema periodo di misura più lungo valutare la qualità della connessione tra gli utilizzatori più rappresentativi ed il sito analisi dell architettura di interconnessione integrazione con altre fonti di informazioni interne (es. log del web server)

22 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 22/38 problemi di rete Possibili interventi rinegoziare i Service Level Agreement con il/i provider in funzione delle mutate esigenze scegliere un nuovo provider che sia connesso meglio con gli utenti caratteristici del sito richiedere al provider di rivedere gli accordi di peering (sulla base di dati oggettivi) operare sul fronte del marketing per smussare i picchi di carico

23 problemi architetturali architetturali problema tempo (secondi) home page di un portale pagina server Elementi critici Elementi critici: Web Server Application Server DB Server Custom Engines Security Appliances and Policies Middleware rete la barra gialla misura il carico del server/sito verso le ore si nota un peggioramento delle prestazioni aumenta soprattutto il tempo di server problema del sito carico eccessivo problemi architetturali G.Serazzi - aa 2003/04 Impianti Informatici traffic - 23/38

24 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 24/38 problemi architetturali architetturali Passi successivi capire se il problema è congiunturale o sistematico, individuare la periodicità del problema periodo di misura più lungo avviare un analisi mirata all individuazione della natura dei problemi (hardware, software, ) analisi dell architettura del sito installazione di utilizzo delle sonde all interno dell architettura del sito Integrazione delle informazioni con altre fonti interne al sito (log web, firewall, cache)

25 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 25/38 problemi architetturali architetturali Possibili interventi potenziamento delle risorse hardware potenziamento dei server e degli apparati di rete/security replicazione dei server e degli apparati di rete/security Installazione di strumenti di bilanciamento del carico Installazione di strumenti di caching revisione delle politiche di content management tuning delle applicazioni custom revisione delle politiche di sicurezza replicazione geografica dei contenuti

26 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 26/38 complessità delle pagine Web Elementi critici: Tecnologia( html, flash, applet) Dimensione pagine Numero di oggetti Content management Security policies KByte L oggetto download indicato richiede response 20 sec per essere connection scaricato (il resto della lookup pagina richiede < 8 sec). start L oggetto è un banner document fornito length da un server esterno al sito Soluzioni possibili: ridefinire la strategia di gestione del banner, ad esempio replicandolo localmente

27 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 27/38 complessità delle pagine Web La pagina contiene troppi oggetti secondi KByte Soluzione possibile: riprogettare la pagina da un punto di vista grafico cercando di ridurre il numero di oggetti 5 5 download response connection lookup start document length

28 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 28/38 Complessità delle pagine Web Passi successivi capire se il problema è congiunturale o sistematico, individuare eventuali periodicità: ampliare il periodo di misurazione estendere le misurazioni a più percorsi di navigazione sul sito Possibili interventi semplificare la struttura delle pagine ridurre il numero di oggetti ridurre l uso di plug-in lato client pianificare i meccanismi di reperimento dei contenuti (interni e di terze parti)

29 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 29/38 monitoraggio del traffico tipi di tools un case study

30 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 30/38 tipi di tools Sniffer: strumento, software o hardware, che raccoglie le informazioni che viaggiano lungo una rete, esaminando i pacchetti che vengono inviati lungo le connessioni Network Analyzer: programmi che si occupano di monitorare ed analizzare in tempo reale il traffico di rete MRTG (Multi Router Traffic Grapher), free, utilizza il protocollo SNMP

31 sniffer e network analyzer G.Serazzi - aa 2003/04 Impianti Informatici traffic - 31/38 NA NA NA

32 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 32/38 architettura della rete piano 1... utenti obili CEDA ATM router elet 0 router elet1,2,3 router Ethernet 100 Mbps Ethernet 100 Mbps piano 2 Internet Ethernet 100 Mbps piano 3... utenti esterni... utenti interni

33 elet0: router dipartimentale, 12/01, media mensile G.Serazzi - aa 2003/04 Impianti Informatici traffic - 33/38 In: traffico uscente dal DEI Out: traffico entrante nel DEI (download)

34 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 34/38 elet0 verso ATM (78.1 MB/s) router: media mens.12/01 ATM Traffic KBytes/s Time In Out In: traffico verso il DEI (download( download) Out: traffico uscente dal DEI (upload( upload)

35 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 35/38 elet0: router dipartimentale, 12/01, and. giornaliero Intranet Traffic KBytes/s In Out Day In: traffico in uscita dal DEI Settimana 1 Settimana 2 Settimana 3 Settimana 4 Media In: ,6 (B/s) (B/s) (B/s) 74888,06 (B/s) Media Out: ,1 (B/s) ,9 (B/s) ,4 (B/s) ,7 (B/s) Dev. St In: 66104,94 (B/s) ,3 (B/s) ,3 (B/s) 49316,79 (B/s) Dev. St. Out: 98733,44 (B/s) ,5 (B/s) ,7 (B/s) 62132,19 (B/s) Coeff. Var. In: 0, , , ,65854 Coeff. Var. Out: 0, , , ,317369

36 G.Serazzi - aa 2003/04 Impianti Informatici traffic - 36/38 confronto tra piani elet1 Piano 1 KBytes/s Intranet Traffic Time In Out Intranet Traffic 600 elet2 Piano 2 KBytes/s Time In Out Intranet Traffic elet3 Piano 3 KBytes/s Time In Out

37 elet-a-est: est: switch sala macchine esterno, 12/01 crash di sistema Intranet Traffic KBytes/s In Out G.Serazzi - aa 2003/04 Impianti Informatici traffic - 37/ Day Settimana 1 Settimana 2 Settimana 3 Settimana 4 Media In: 59470,06 (B/s) ,3 (B/s) ,5 (B/s) 40729,86 (B/s) Media Out: 49842,41 (B/s) ,8 (B/s) ,1 (B/s) 30690,32 (B/s) Dev. St In: 45936,2 (B/s) 80991,77 (B/s) 51552,6 (B/s) 20876,5 (B/s) Dev. St. Out: 85497,57 (B/s) 76051,2 (B/s) 55950,2 (B/s) 17731,5 (B/s) Coeff. Var. In: 0, , , ,51256 Coeff. Var. Out: 1, , , ,577756

38 router di call back 12/01 Dial Up Traffic KBytes/s In Out Settimana Day 1 Settimana 2 Settimana 3 Settimana 4 Media In: 3559,276 (B/s) 2801,414 (B/s) 3304,297 (B/s) 2586,614 (B/s) Media Out: 1979,566 (B/s) 1295,966 (B/s) 2040,986 (B/s) 1740,069 (B/s) Dev. St In: 2226,722 (B/s) 800,2116 (B/s) 1293,43 (B/s) 1056,99 (B/s) Dev. St. Out: 975,1241 (B/s) 811,876 (B/s) 1450,25 (B/s) 1115,759 (B/s) Coeff. Var. In: 0, , , , Coeff. Var. Out: 0, , , , G.Serazzi - aa 2003/04 Impianti Informatici traffic - 38/38