Progetto e Valutazione delle Prestazioni di Sistemi Web mediante Modelli di Simulazione

Transcript

1 Università di Venezia 13 febbraio 2002 Progetto e Valutazione delle Prestazioni di Sistemi Web mediante Modelli di Simulazione Michele Colajanni Dipartimento di Ingegneria dell Informazione Università di Modena e Reggio Emilia colajanni@unimo.it Motivazione 1: il successo di Internet e del Web Host collegati Gennaio Luglio Gennaio Luglio Gennaio Luglio Gennaio Luglio Gennaio Luglio Gennaio Luglio Gennaio Luglio Gennaio Fonte: Numero di siti Web Anni impiegati per 50M utenti Radio 38 Televisione 13 TV via cavo 10 Internet 5 Michele Colajanni, /100 Motivazione 2: dalla 1ª generazione... alla 2ª generazione del Web Un ulteriore canale per informazione non critica 95% dell informazione costituita da testo più eventuali immagini Manutenzione e aggiornamenti occasionali Canale economico Prestazioni molto variabili Affidabilità non garantita Sicurezza non indispensabile Netscape error: web not responding. Server may have crashed or is overloaded. I don t know why. I don t care too much Canale di informazione critica, che sta diventando privilegiato per molti utenti Sistema transazionale Contenuti dinamici ed attivi in continuo aumento Streaming audio e video Servizi a pagamento (diretto o indiretto) Vetrina importante per industrie e organizzazioni Regola degli 8 secondi Netscape error: web not responding. Server may have crashed or is overloaded. I paid for it!!! What a primitive company! Michele Colajanni, /100 Michele Colajanni, /100 Passo 1: Descrivere il Sistema Reale Anche il SISTEMA è un astrazione della realtà che dipende dall osservatore (Esempi di visioni differenti del Sistema Università: Studenti, Rettore, Docenti, Segretarie, ecc.) Tuttavia, si tende a considerare il SISTEMA da cui astrarre il MODELLO, come realtà ESEMPIO: Sistema Università Visto dall osservatore 1 Visto dall osservatore 2 Michele Colajanni, /100 Richiesta HTTP: Client browser (1) Parsing URL (2) (4) (5) (9) Parsing index.html (10) Richieste embedded objects Web (3) name locale connessione TCP (6) richiesta HTTP GET index.html file index.html root name Cosa bisogna modellare? (a) Client/connessione? (c) Rete/protocolli? Tempi CPU/Disco/SO (7) (8) name autoritativo per (b) DNS? (d) Server? Michele Colajanni, /100

2 Metodi di valutazione Analisi qualitativa Analisi quantitativa Modelli risolubili analiticamente Modelli di simulazione Benchmark su prototipi Focus Valutare le prestazioni mediante simulazione Descrizione del Sistema Parametri del sistema Parametri delle risorse Parametri del workload - richieste di servizio - intensità del servizio Descrizione del Workload Modello a rete di code (analitico) SIMULATORE BENCHMARKING (se sistema esistente) Misure di Prestazione Tempo risposta Throughput Utilizzazione Tempo attesa Michele Colajanni, /100 Michele Colajanni, /100 Macro-componenti del sistema Web Client (browser) DNS Rete Server Michele Colajanni, /100 Browser Il browser è un applicazione software che svolge il ruolo di interfaccia fra l utente ed il WWW, mascherando la complessità di Internet. Diventa un client Web per recuperare informazioni dai Web. Funzioni principali risolve tramite il resolver l indirizzo simbolico in indirizzo IP instaura una connessione TCP con il tramite cui invia opportuni messaggi al Web per ottenere le risorse richieste interpreta il codice ipertestuale HTML elabora il codice allo scopo di visualizzare in modo appropriato il contenuto delle pagine sullo schermo Michele Colajanni, /100 Componenti di un browser Software in esecuzione sul client Input da mouse e tastiera Controller Client Http Interfaccia di rete Client Http Comunicazioni con il Web Interprete HTML Altro interprete (plug-in) Driver Output verso lo schermo Web Resolver Web browser Applicativo client (Netscape API) Tipo MIME HTML Visualizzato dal browser JPEG Visualizzato dal browser grafico (tipicamente, un plug-in esterno) Chemical Visualizzato da opportuni programmi Michele Colajanni, /100 Michele Colajanni, /100

3 Client: Risultati analisi qualitativa PC sempre più potenti Tecnologie xdsl (per risolvere last mile problem) Connessioni via CableTV (per USA) Macro-componenti del sistema Web Client (browser) DNS Rete e, comunque, il nostro intervento è limitato Server Michele Colajanni, /100 Michele Colajanni, /100 URL DNS schema :// host.domain / pathname http :// / docenti/orari/esami.html schema: indica il modo con cui accedere alla risorsa, ovvero il protocollo per interagire con il che controlla la risorsa. Il metodo di accesso di default è HTTP. host.domain: è l hostname (spesso un alias) del nodo in cui risiede la risorsa Web pathname: identifica la risorsa presso il Web Hostname (canonico) Dato lo scopo rivolto verso l utente, all hostname si preferiscono attribuire valori mnemonici. Es.: nome del computer e dominio di appartenenza: Nome del computer sun11.dsi.unimo.it Dipartimento di Scienze dell Ingegneria UNIiversità di MOdena ITalia Michele Colajanni, /100 Michele Colajanni, /100 Domain Name System (DNS) Realizza uno spazio dei nomi gerarchico e permette la traduzione del nome mnemonico di un host in un indirizzo IP. Es. Hostname: sun3.dii.ing.unimo.it Indirizzo IP: ( ) Implementa un meccanismo efficiente (mediante name s), distribuito su scala geografica, per risolvere un hostname in un indirizzo IP e viceversa. (Basato su protocollo UDP) Michele Colajanni, /100 1) Tramite il resolver, contatta il suo DNS locale 2) Se necessario, il DNS locale può contattare altri DNS intermedi, ed eventualmente uno dei root DNS Bottleneck: DNS? L host sun11.dsi.unimo.it vuole conoscere l indirizzo IP dell host 3) Se necessario, il root DNS indirizza verso il DNS autoritativo per quell indirizzo 1 8 (o un top-level DNS nel caso cache in cui non conosca un DNS autoritativo per quell indirizzo) Host richiedente Michele Colajanni, 2002 sun11.dsi.unimo.it 18/100 cache root name 2 cache 7 name locale dns.unimo.it 3 6 top-level name (.it) 5 4 cache name autoritativo dns.uniroma2.it

4 RTT Tempi per la risoluzione mediante DNS (domini random: 70% entro 2 sec., 90% entro 4 sec.) 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% secondi (NOTA: I nomi di domini popolari hanno tempi inferiori) Michele Colajanni, /100 Macro-componenti del sistema Web Client (browser) DNS Rete Server Michele Colajanni, /100 Bandwidth Bandwidth Internet Sep-98 Feb-99 Aug-99 Jan-00 median worst 5% 14 per. Mov. Avg. (median) Round-trip time msec Jul-98 Nov-98 Feb-99 May-99 Aug-99 Dec-99 Mar-00 La bandwidth tende ad aumentare Il Round-Trip Time tende a diminuire Michele Colajanni, /100 Michele Colajanni, /100 Round-trip time (statistiche giugno 2001) Italia - Nord Europa <100ms Italia - New York ms Italia - Los Angeles ms Italia - Tokio ms Italia - Sidney ms Fonte: (The pinger project) Michele Colajanni, /100 Rete: Risultati del benchmarking La bandwidth tende ad aumentare Il RTT tende a diminuire L infrastruttura fissa tende a migliorare Ma ci sono ancora molti problemi aperti peering points router QoS protocolli wireless, ad-hoc network, E soprattutto non si può trascurare quando si modellano sistemi Web distribuiti geograficamente Michele Colajanni, /100

5 Macro-componenti del sistema Web Client (browser) DNS Rete Server FOCUS PRINCIPALE Michele Colajanni, /100 Componenti del Sistema sito Web Piattaforma hardware Software di base Server HTTP Il processo ed il relativo software che viene eseguito sulla piattaforma stabilisce il collegamento tra la piattaforma (hardware - software di base) e la parte informativa del sito Web Parte informativa del sito Web Il sito deve mettere a disposizione un insieme di risorse che possono essere richieste dai client con cui vengono instaurate delle connessioni HTTP Talvolta, si utilizzano altri (back-end ) 26/100 Interazioni tra componenti del Sistema sito Web Passo 2: Definire gli obiettivi dell analisi di prestazioni Server HTTP Rete Disco Back-end Sistema operativo PROGETTO. Problemi di analisi che i progettisti incontrano nella realizzazione di un nuovo sistema: valutazione concernenti la scelta tra varie alternative (componenti del sistema, politiche di gestione, ecc.) dimensionamento ottimale rispetto ad uno o più scenari di workload attuale Sistema operativo Hardware Rete Disco Contenuti:. HTML. immagini. audio. video. altro Hardware CAPACITY PLANNING. Analisi di prestazione concernenti sistemi già operativi. Problemi relativi alla predizione delle capacità di un sistema esistente soggetto ad un ipotetico workload futuro. (Bottleneck analysis) Michele Colajanni, /100 Michele Colajanni, /100 Passo 3: Definire gli indici di prestazione che l analisi deve valutare Indici Tempi di risposta (del sistema, di uno o più componenti) Tempi di attesa Throughput Numero di utenti (in coda, nel sistema) Utilizzazioni... Indici di prestazione per il Web Throughput (quantità elaborate per unità di tempo) Connessioni/sec Hit/sec Mbyte/sec Tempo di risposta e tempo di latenza Lato Lato client Utilizzazione Sistema Componenti (CPU, dischi, memoria, interfaccia di rete) Michele Colajanni, /100 Michele Colajanni, /100

6 Altri indici Sicurezza del sistema Web Passo 4: Creazione del Modello Definire obiettivi Affidabilità del sistema Tolleranza ai guasti Disponibilità 24/7 Qualità del servizio (garantita) Dati Sistema Definire indici di prestazione e variabili da valutare MODELLO Dati Workload Minimizzazione delle connessioni rifiutate Altri indicatori delle attività di un sito Web Hit/giorno, visite/giorno, utenti-diversi/giorno Popolarità delle pagine visitate Percorsi di visita dell albero delle pagine Valutare (e/o misurare) Sistema con Workload Ridurre dati ed interpretare risultati Obiettivi raggiunti? SI Pianificare verifiche periodiche NO Modificare il Sistema o il Modello Michele Colajanni, /100 Michele Colajanni, /100 Sistema Server Web Interazioni esterne (oggetto statico) router (50µsec/packet) Internet 6 HTTP req/sec T1 ISP Web 10 Mbps Ethernet Non è semplice modellare il funzionamento di un sito Web, ma va sicuramente evitato un errore (comune): considerare il sistema come composto da una singola risorsa (coda) Michele Colajanni, /100 Client (browser) DNS Server Web DNS lookup TCP SYN TCP ACK richiesta HTTP (GET) TCP SYN-ACK dati dalla memoria risposta HTTP dati dal disco Coda SYN-RCVD Coda ACCEPT Listen Socket ACCEPT CPU memoria disco Michele Colajanni, /100 Interazioni esterne (oggetto dinamico) Client (browser) DNS Web DNS lookup connessione TCP back-end Modello 1 (es., valutare impatto trasmissione file su rete locale e accesso a Internet) incoming router LAN richiesta HTTP risposta HTTP outgoing cpu disk Michele Colajanni, /100 CPU disco Web Michele Colajanni, /100

7 Modello 2 (es., valutare impatto del caching nel ) Modello 3 (es., stress testing sul ) CPU CPU incoming memoria outgoing incoming Max connessioni memoria outgoing disco disco Web Web Michele Colajanni, /100 Michele Colajanni, /100 Sistema Server+Proxy Modello (evidenziato cache hit) Clients... Proxy Server router (50µsec/packet) Internet External Web Servers clients cpu LAN disk proxy cache router outgoing ISP Internet web incoming LAN (10 Mbps Ethernet) Michele Colajanni, /100 Michele Colajanni, /100 Modello (evidenziato cache miss) clients cpu LAN disk proxy cache router outgoing ISP Internet web incoming Passo 5: Definire i parametri di input del modello (WORKLOAD) Descrizione dettagliata di tutti i parametri che servono per caratterizzare tutti i componenti del modello (arrivi, ritardi, instradamenti, categorie di utenti, ecc.) e del conseguente simulatore Descrizione dettagliata di tutti i dati e funzioni di distribuzione da utilizzare per tutti i componenti del modello. In particolare, vi potranno essere: Risultati della workload analysis raccolta e/o stima dei dati per trace-driven simulation : scelta delle tracce per distribution-driven simulation : individuazione delle distribuzioni teoriche (dai dati raccolti) e verifica mediante test χ 2 Michele Colajanni, /100 Michele Colajanni, /100

8 Caratterizzazione del workload E il processo che porta e descrivere il workload globale del sistema in funzione dei componenti principali del sistema stesso I componenti principali sono caratterizzati da parametri su: - frequenza degli arrivi - intensità della richiesta di lavoro per ogni risorsa del sistema Michele Colajanni, /100 Caratterizzazione del workload Componenti principali Client,, rete, protocolli Caratterizazione a livelli differenti Focus su arrivi sessione, tempi utente e client, caratteristiche del protocollo caratteristiche degli oggetti richiesti dimensione, popularità, tipologia caratteristiche dei servizi statici, volatili, dinamici, sicuri Michele Colajanni, /100 Il workload del Web è diverso Elevata variabilità Localizzazione geografica Giorno della settimana Ora del giorno (comprendere I periodi di picco) Workload distribuito secondo funzioni heavy-tailed Grandissimi valori sono possibili con probabilità non nulla P.es., dimensioni documenti da 10 3 a 10 7 byte Natura dinamica delle transazioni Web Natura (spesso) impredicibile delle informazioni e dei servizi richiesti E difficile dimensionare correttamente la capacità del/i in modo da far fronto alla domanda creata dai picchi di carico Traffico bursty per diverse scale temporali Il throughput massimo decresce all aumentare del fattore di burstiness Michele Colajanni, /100 Distribuzioni heavy-tailed Una variabile casuale X con F(x)=P[X x], e è distribuita heavy-tailed, (con indice di tail α) se: 1-F(x)=Prob[X>x] c x α, 0< α <2 La distribuzione più semplice di tipo heavy-tailed è la Pareto, che ha: F(x) = 1 (k/x) α, α, k>0, x k f(x) = α k α x α 1 (k rappresenta il valore minimo della variabile casuale) Le distribuzioni heavy-tailed sono caratterizzate da elevatissima variabilità (per cui la media non è un buon indicatore dell andamento dei valori generati/osservati) Le distribuzioni heavy-tailed hanno varianza infinita, e se α<1, anche media infinita Michele Colajanni, /100 Tipico traffico (bytes) del Web Voice model vs. Data model Traffico tradizionale delle reti telefoniche Caratteristiche Poissoniane degli arrivi di chiamate al sistema telefonico Gli arrivi sono mutuamente indipendenti I tempi di interarrivo delle chiamate sono distribuite esponenzialmente Voice traffic modeling has proven nothing short of disastrous when applied to data networks, for the simple but profound reason that the rules all change when it is computers and not humans doing the talking [Willinger-Paxson, American Math. Soc., Sept. 1998] I primi cambiamenti si verificarono con la diffusione dei Fax (anni 80) e sono divenuti più evidenti con l avvento del Web Michele Colajanni, /100 Michele Colajanni, /100

9 Quante richieste dietro a un click Client browser (1) Parsing URL (2) (4) (5) (6) richiesta HTTP GET index.html (9) Parsing index.html (10) Richieste embedded objects Web (3) name locale connessione TCP file index.html Tempi CPU/Disco/SO (7) (8) root name name autoritativo per Workload: Arrivi Sessione Arrivi di sessione: Poisson process W. Willinger, V. Paxson, Where Mathematics meets the Internet, Notices of the American Mathematical Society, Vol. 45, No. 8, Aug Z. Liu, N. Niclausse, C. Jalpa-Villanueva, Web traffic modeling and performance comparison between HTTP1.0 and HTTP1.1, System performance evaluation: Methodologies and applications, E. Gelenbe ed., CRC Press, Mar Durata della sessione: distribuzione heavy tailed M.A. Habib, G. Abdulla, E.A. Fox, Web traffic characterization with time zones, Proc. ISAVIIA 1998, Germany, Aug Pattern delle richieste utente P. Pirolli, J.E. Pitkow, Distributions of surfers paths through the World Wide Web: Empirical characterization, World Wide Web, Vol. 2, No. 1-2, Mar J.E. Pitkow, Summary of WWW characterization, World Wide Web, Vol. 2, No. 1-2, pp. 3-13, Mar J.E. Pitkow, P. Pirolli, Mining longest repeating subsequences to predict World Wide Web surfing, Proc. USENIX 1999, Monterey, CA, June Michele Colajanni, /100 Michele Colajanni, /100 Workload: Arrivi (cont.) Tempi utente/client User think time: distribuzioni heavy-tailed M. E. Crovella, A. Bestavros, Self-similarity in World Wide Web traffic: Evidence and possible causes'', IEEE/ACM Trans. on Networking, Vol. 5, No. 6, Dec. 1997, pp P. Barford, M.E. Crovella, Generating representative Web workloads for network and performance evaluations, Proc. ACM Sigmetrics 1998, pp , July M. Arlitt, T. Jin, A workload characterization study of the 1998 World Cup Web site, IEEE Network, May/June R. Morris, Variance of aggregated Web traffic, Proc. IEEE Infocom 2000, Client parsing time P. Barford, M.E. Crovella, Generating representative Web workloads for network and performance evaluations, Proc. ACM Sigmetrics 1998, pp , July Caratteristiche del protocollo HTTP HTTP/1.0 vs. HTTP/1.1 J. Heidemann, K. Obraczka, J. Touch, Modeling the performance of HTTP over several transport protocols, IEEE/ACM Trans. on Networking, Vol. 5, No. 5, pp , Oct P. Barford, M.E. Crovella, A performance evaluation of HyperText Transfer Protocols, Proc. ACM Sigmetrics 1999, Atlanta, May B. Krishnamurthy, J.C. Mogul, D.M. Kristol, Key differences between HTTP/1.0 and HTTP/1.1, Proc. 8th Int l World Wide Web Conf., Toronto, May Michele Colajanni, /100 Workload: Caratteristiche degli oggetti Dimensione Oggetti richiestie e Distribuzioni heavy-tailed La maggior parte delle richieste è per oggetti piccoli Popolarità La frequenza dei riferimenti segue una distribuzione di tipo Zipf Tipo Composizione della pagina Analisi effettuata a differenti livelli di granularità: grossa: nessuna distinzione sul tipo di oggetti media: pagina base, embedded, oggetti singoli fine: HTML, image, audio, video, applicazioni, oggetti dinamici, Maggior parte delle richieste ancora per file HTML e immagini M. Arlitt, T. Jin, A workload characterization study of the 1998 World Cup Web site, IEEE Network, May M. E. Crovella, A. Bestavros, Self-similarity in World Wide Web traffic: Evidence and possible causes'', IEEE/ACM Trans. on Networking, Vol. 5, No. 6, Dec. 1997, pp S. Jin, A. Bestavros, Temporal locality in Web request streams, Proc. ACM Sigmetrics 2000, June P. Barford, A. Bestavros, A. Bradley, M.E. Crovella, Changes in Web client access patterns: Characteristics and caching implications, World Wide Web, Vol. 2, No. 1-2, Mar A. Mahanti, C. Williamson, D. Eager, Traffic analysis of a Web proxy caching hierarchy, IEEE Network, May/June Michele Colajanni, /100 Problemi caratterizzazione workload Sebbene nelle analisi si considerino i pattern e le caratteristiche di diversi siti Web, non esiste il workload per il sito Web La maggior parte degli studi riguarda siti Web non commerciali (da cui le caratterizzazioni che portano ad una grande maggioranza di oggetti statici) Pochi studi recenti considerano siti Web a carico molto elevato M. Arlitt, T. Jin, A workload characterization study of the 1998 World Cup Web site, IEEE Network, May/June A.K. Iyengar, M.S. Squillante, L. Zhang, Analysis and characterization of large-scale Web access patterns and performance, World Wide Web, Vol. 2, No. 1-2, Mar M.S. Squillante, D.D.Yao, L. Zhang, Internet traffic: Periodicity, tail behavior, and performance implications, System performance evaluation: Methodologies and applications, E. Gelenbe ed., CRC Press, pp , Mar Tipico sistema multiclasse Class File Size Range (KB) Percent of Requests 1 size < size < size < size < size Pochissimi studi considerano siti Web con carico prevalentemente dinamico Michele Colajanni, /100 Michele Colajanni, /100

10 Tempi di gestione di una richiesta (es.) Passo di elaborazione CPU (ms) Disco (ms) Accettare una connessione TCP/IP 1,0 Passare i dati dalla connessione TCP/IP al processo 1,0 Generare un processo (metodo fork) per l esecuzione dello script CGI 2,0 Eseguire uno script CGI che non opera su disco 138,0 8,0 Eseguire uno script CGI che opera su disco 130,0 305,0 Passare i risultati al processo 4,0 Passare i risultati dal processo alla connessione TCP/IP 4,0 Michele Colajanni, /100 Riferimento più utile per la worload characterization Michele Colajanni, /100 Passo 6: Definire le metriche degli indici di prestazione osservati Metriche Valori puntuali Medie Varianze Percentili Distribuzioni... Migliori in un contesto di workload heavy-tailed Problema delle statistiche con modelli di workload heavy-tailed N=10 N=100 N=1000 N=10000 Workload di tipo esponenziale Workload di tipo heavy-tailed Michele Colajanni, /100 Michele Colajanni, /100 Curva dei tempi di risposta sito Web Response Time (sec) Curva classica del tempo di risposta Carico attuale Si iniziano a rifiutare le connessioni Throughput di un Web Th=N/T tot Throughput Capacità teorica Capacità effettiva Curva desiderabile Curva reale Curva pessima (thrashing) Punto di saturazione Arrival Rate (tps) Workload (richieste/sec) 59/100 Michele Colajanni, /100

11 Bottleneck: Server? Proiezione: Impatto computazionale delle richieste I sono sempre più potenti, ma tale crescita è sufficiente? - Dal Web Publishing al Web-based Information System - oggetti statici - piccoli (es., pochi msec) - grandi (disk bound) - oggetti volatili - oggetti dinamici (CPU e/o disk bound) - transazioni sicure (CPU bound) Principali componenti CPU Disk Network Michele Colajanni, /100 Michele Colajanni, /100 Hot Web sites Yahoo, Netscape, Microsoft, Pointcast, Google, CNN, (>50 Milioni hits/day) Evento Periodo Peak hits/day Peak hits/minute NCSA (Oct. 1995) 2 Milioni Olympic Games Milioni 8 Milioni (Atlanta, 1996) NASA Pathfinder 942 Milioni 40 Milioni (July 1997) (14 days) [Load misurato in hit] Olympic Winter Games Milioni 55 Milioni (Japan, 1998) (16 days) FIFA World Cup Milioni 73 Milioni (France, 1998) (90 days) Wimbledon 942 Milioni 125 Milioni (July, 1999) (14 days) Wimbledon 282 Milioni (July, 2000) Olympic Games Milioni Michele Colajanni, /100 Potenziamenti del Web Azioni a livello di CLIENT Possibilità di intervento limitato Azioni a livello di RETE Network guys are doing an excellent job Azioni da parte del CONTENT PROVIDER Server replication Caching Azioni da parte di INTERMEDIARI Caching cooperativo (istituzionale o ISP) Content Delivery Networks (commerciale) Michele Colajanni, /100 Ottimizzazioni lato Web Scale-up Sistemi con multipli Web Interventi HW Interventi SW - sist. oper. - Web LAN Focus Scale-out Distribuzione locale Web cluster Siti Mirror Distribuzione geografica Web multi- Web multi-cluster Sistemi con multipli WAN a livello 4 (OSI) a livello 7 (OSI) in 2 fasi (DNS+ Web switch) in 3 fasi (DNS+ Web switch+ ) Michele Colajanni, /100 Michele Colajanni, /100

12 Sistemi con multipli Web Web cluster LAN Distribuzione locale Web cluster a livello 4 (OSI) Siti Mirror a livello 7 (OSI) Distribuzione geografica Web multi- in 2 fasi (DNS+ Web switch) Web multi-cluster in 3 fasi (DNS+ Web switch+ ) Michele Colajanni, /100 Client browser TCP connection Local DNS INTERNET Root name RISPOSTA Web switch (VIP) Authoritative DNS for Due fattori da considerare: - Caratteristiche del Web switch - Flusso dei pacchetti di risposta -to-client Web s Back-end s WEB CLUSTER Michele Colajanni, /100 Web cluster Sito Web implementato su di un architettura parallela o distribuita localmente Indirizzi del sito Web Un solo hostname (es., ) Un solo indirizzo IP (virtual IP address) Tutti i hanno indirizzi IP mascherati Un front-end Web switch il cui indirizzo IP è l indirizzo IP visibile del sito Web Web switch di livello-4 Opera a livello TCP/IP TCP session management Pacchetti appartenenti alla stessa connessione devono essere assegnati alla stessa macchina Il Web switch utilizza una binding table per la gestione delle connessioni attive Il Web switch esamina l header di ogni pacchetto: nuova connessione (SYN bit) assegnamento connessione esistente ricerca nella binding table Michele Colajanni, /100 Michele Colajanni, /100 Algoritmi di dispatching Statici (information-less) Dinamici (state-aware) client info aware state aware client info and state aware Adattativi (non ancora investigati) Nullo Elevato Michele Colajanni, /100 Livello di informazioni di stato Algoritmi Statici vs. Dinamici Statici Facile implementazione Overhead trascurabile Rischio di situazioni di sovraccarico di alcuni Dinamici Implementazione più complessa Overhead di comunicazione e di computazione per la valutazione e trasmissione di informazioni sullo stato Overhead per l esecuzione di algoritmi (tipicamente) più complessi (Auspicabilmente) miglior bilanciamento del carico tra i. In realtà, è già sufficiente evitare episodi di particolare sovraccarico Michele Colajanni, /100

13 Principali differenze con sistemi distribuiti/paralleli tradizionali Tipologia di carico heavy-tailed spesso con arrivi burst Controllo sugli arrivi limitato decisioni da prendere in (soft) real-time rifiuto di connessioni possibile, ma unfair Obiettivo: load sharing più che load balancing per architetture livello-4 Il Web switch controlla il 100% del traffico in arrivo al sito Web Non servono algoritmi particolarmente sofisticati Gli algoritmi statici forniscono prestazioni confrontabili a quelle di algoritmi dinamici nel caso di richieste/servizi Web che rientrano in intervalli temporali di 1 ordine di grandezza Oltre i 2 ordini di grandezza, è opportuno utilizzare algoritmi state aware ( o client aware) Difficoltà nella scelta dei parametri ottimi per algoritmi aware, per cui i client aware risultano migliori Michele Colajanni, /100 Michele Colajanni, /100 Algoritmi di dispatching (esempi) state aware Round Robin Statici Random Stima del dominio di provenienza 2-tier Round Robin Metriche lato client Least Connection Dinamici Metriche lato Weighted Round Robin Connessioni attive Utilizz. CPU / disco Tempo di risposta Least Loaded Esempio: Weighted Round Robin distribuzione delle richieste in base allo stato di carico dei possibili metriche per la stima dello stato di carico dei Input metric: informazioni di stato raccolte dal Web switch senza il coinvolgimento dei Server metric: informazioni di stato raccolte dai (CPU/Disk Utilization o Active Connections) Forward metric: informazioni di stato raccolte dal Web switch emulando delle richieste ai migliore Michele Colajanni, /100 Michele Colajanni, /100 Unbalance Factor Difficoltà del tuning degli algoritmi dinamici WRR_num( ) WRR_num( ) WRR_num( ) RR( ) RR( ) Tget [sec.] Scenario: 35% static light (1) 30% static heavy (10) dynamic (100) 30% static heavy (100) dynamic (1000) Unbalbance Factor 100 Tget [sec.] Michele Colajanni, / Scenario: 50% static light (1) 25% static heavy (10) dynamic (100) 25% static heavy (100) dynamic (1000) WRR_num( ) WRR_num( ) WRR_num( ) RR( ) RR( ) Web switch di livello-7 Web switch opera a livello applicativo Web switch deve stabilire una connessione TCP con il client ed attendere la richiesta HTTP Ispeziona il contenuto della richiesta HTTP per decidere a quale indirizzarla: Parsing dell header HTTP (URL, cookie) Gestione dei pacchetti inbound (ACKs) Principali caratteristiche del content-based routing consente il partizionamento dei contenuti/servizi del sito Web tra diversi (eventualmente specializzati) favorisce l utilizzo di meccanismi di caching supporta il dispatching a granularità fine delle richieste effettuate mediante connessioni persistenti (HTTP/1.1) Michele Colajanni, /100

14 Comunicazione tramite layer-7 switch data application transport network physical Client network physical router DISPATCHING application transport network physical Web switch Web application transport network physical application transport network physical data application transport network physical Michele Colajanni, /100 Algoritmi client info aware Identificatori di sessione Richieste HTTP con lo stesso SSL id o lo stesso cookie sono assegnate allo stesso Content partition (statico) Contenuto partizionato tra i rispetto al tipo di file (HTML, imaggini, contenuto dinamico, audio, video, ) Scopo: utilizzare specializzati per contenuti differenti Contenuto partizionato tra i rispetto alla dimensione di file (soglie dinamiche) Scopo: aumentare load balancing Insieme dei file partizionato tra i mediante una funzione hash Scopo: aumentare il cache hit rate nei Web Michele Colajanni, /100 Proposta: Client Aware Policy* Sfrutta informazioni relative alla tipologia della richiesta da assegnare: Richiede un meccanismo di classificazione dinamica delle richieste effettuabile in base al tipo di servizio (URL) CPU-intensive (es., crittografia) Disk-intensive (es., query a database) Network-intensive (es., download di grandi file) Scopo: ripartire le richieste CPU/disk/networkintensive tra tutti i Modello di simulazione Web Cluster DISK 1 State information CPU 1 CACHE 1 Web switch DISK 2 CPU 2 Router LAN CACHE 2 Access network DISK N CPU N CACHE N NET-INT NET-INT NET-INT LAN Router [*Casalicchio, Colajanni, Proc. of WWW10, Hong Kong, 2001] Michele Colajanni, /100 Clients Michele Colajanni, /100 Workload: distribuzione dei file Workload: statico Filesize distribution: Pareto Scenari: Connection bound Network bound Percentage 0,5 0,45 0,4 0,35 0,3 0,25 0,2 0,15 0,1 0,05 0 Connection bound workload 0,05 0,10 0,20 0,39 0,78 1,56 3,13 6,25 12,50 25,00 50,00 100,00 200,00 400,00 800,00 Filesize (Kbite) Scenari di workload Scenari di test Uso dello user think time Modellazione struttura di una risorsa Web (Pagina HTML + Oggetti incorporati) Light Workload (90% statiche, 10% dinamiche leggere) Heavy Workload (90% statiche, 10% dinamiche pesanti) Metriche utilizzate Connessioni / sec. aperte dal cluster Mbit / sec. in uscita dal cluster Tempo di risposta (sec.) del cluster Utilizzazioni medie CPU e switch Michele Colajanni, /100 Michele Colajanni, /100

15 Risultati simulativi: Modello di carico light Risultati simulativi: Modello di carico heavy CAP CAP CAP CAP Richieste statiche Richieste statiche + dinamiche CPU- e disk-bound CPU-, disk- e CPU-disk-bound Michele Colajanni, /100 Michele Colajanni, /100 Caratteristiche Web cluster Sistemi con multipli Web Architetture alternative Level-4 Web switch (Content information blind) Level-7 Web switch (Content information aware) Distribuzione locale Distribuzione geografica Principali vantaggi Controllo a grana fine sull assegnamento richieste Elevata affidabilità (availability, sicurezza) Web cluster Siti Mirror Web multi- Web multi-cluster Principale svantaggi Single point of failure Scalabilità limitata dal Web switch Scalabilità limitata dalla banda di accesso ad Internet (es., T3 45 Mbps) a livello 4 (OSI) a livello 7 (OSI) in 2 fasi (DNS+ Web switch) in 3 fasi (DNS+ Web switch+ ) Michele Colajanni, /100 Michele Colajanni, /100 Web multi-cluster Sito Web implementato su di un architettura di cluster distribuiti geograficamente tra diverse regioni Internet Indirizzi del sito Web Un solo hostname (es., ) Un indirizzo IP (VIP dello switch) per ogni Web cluster Il DNS autoritativo del sito Web seleziona un Web cluster nella fase di lookup mediante: Round-robin Prossimità geografica Altro... Web switch HTTP request Local DNS Web multi- cluster (2 livelli) Web switch Oggetto Web ( ,TTL) Authoritative DNS for Un hostname per il sito Un indirizzo IP per cluster Web switch Web switch Michele Colajanni, /100 Michele Colajanni, /100

16 di primo livello (mediante DNS) Per il dispatching geografico si interviene tipicamente nella fase di lookup: il client richiede l indirizzo IP del corrispondente all hostname indicato nell URL se l hostname è valido, il client riceve la coppia da: < Indirizzo IP, Time-To-Live> cache indirizzi di qualche name intermedio DNS autoritativo del sito (opportunamente modificato) integrato o meno da altro componente. Può applicare diverse politiche di dispatching per selezionare il Web cluster migliore Algoritmi di dispatching del DNS Information less Random RR Prossimità Client info aware Internet domain Multi-tier RR* * [Colajanni, Yu, Dias, IEEE TPDS 1998] DNS scheduling Server state aware Least loaded Client and state aware Internet domain Least residual load Server load TTL Adattativo^ ^ [Colajanni, Yu, Cardellini, ICDCS 1998] [Colajanni, Yu, IEEE TKDE 2002,?] Michele Colajanni, /100 Michele Colajanni, /100 Web switch Local DNS ( ,TTL) Web multi-cluster (3 livelli) Authoritative DNS for Web switch Web switch Prima HTTP request Go To Seconda HTTP request Web object Web switch Studio politiche di ridirezione dei Meccanismo di attivazione Distribuito: ciascun Web, tipicamente quando sovraccarico Politica di selezione (richieste da ridirigere) tutte le richieste (All) tutte le richieste per risorse grandi (Size) tutte le richieste per risorse con molti oggetti embedded (Num) Politica di locazione (Web cluster a cui ridirigere le richieste) Round Robin (RR) Funzione hash Least loaded (Load) Prossimità client- (Prox) Michele Colajanni, /100 Michele Colajanni, /100 Modello del sistema Modello (semplificato) della Rete Reg 1 (Clients - Region 1) State information Internet T net (Reg dep (t), Reg dest (t), msg ) Web switch 1 Web cluster 1 1 Web 1,1 Web 1,2 Web 1,n Web K,1 HTTP/1.1 T net (Reg dep (t), Reg dest (t), msg )? T ij,n =2rtt ij +Σ k=1,n ( request k /ab ij (t) + ( response k /ab ji (t) ) where: ab ij (t) = π ij (t) bb ji Available bandwidth between Region i and j at time t is equal to a fraction of the basic bandwidth because of the network traffic. Web K,2 Web switch K Web Web cluster K K,m Reg 4 clients dep, dest {1, 2, 3, 4} Michele Colajanni, /100 π ij (t) = 0.5 π iz (t)+0.5 π jz (t) Network traffic depends in equal manner on popularity of Region i and popularity of Region j at time t. Fortune factor Michele Colajanni, /100

17 Analisi di prestazioni Analisi di prestazioni (2) Politiche Redirect-size DNS usa prossimità Percentuale di richieste ridirette Politiche Redirect-all DNS usa prossimità Tempo di risposta (90-percentile) Michele Colajanni, /100 Michele Colajanni, /100 Analisi di sensibilità (bandwidth) Contributi dovuti a e rete Tempo di risposta (90-percentile) rete Michele Colajanni, /100 WEB CLUSTER Emiliano Casalicchio (dott. Univ. Roma Tor Tor Vergata) Mauro Andreolini (dott. Univ. Roma Tor Tor Vergata) Marco Emilio Poleggi (dott. Univ. Roma La La Sapienza) WEB MULTI-CLUSTER & CACHING Valeria Cardellini (assegn. Univ. Roma Tor Tor Vergata) IBM T.J. T.J. Watson Research Center, NY NY Riccardo Lancellotti (dott. Univ. Modena) QUALITY OF OF WEB-BASED SERVICES Emiliano Casalicchio (dott. Univ. Roma Tor Tor Vergata) Marco Mambelli (dott. Univ. Modena) Ruggero Morselli (PhD, Univ. of of Maryland) UNIVERSAL WEB Valeria Cardellini (assegn. Univ. Roma Tor Tor Vergata) IBM T.J. T.J. Watson Research Center, NY NY Riccardo Michele Colajanni, 2002 Lancellotti (dott. Univ. Modena) 100/100