Sistemi Web geografici per network caching e delivery

Transcript

1 Università degli Studi di Roma Tor Vergata Facoltà di Ingegneria Sistemi Web geografici per network caching e delivery Corso di Sistemi Distribuiti Valeria Cardellini Anno accademico 2009/10 Colli di bottiglia del delivery In un contesto Internet: di gestioni autonome standard da rispettare funzionamento best effort backbone Client Autonomous System Last mile backbone backbone (>10Gbps) Peering point First mile Potenziali problemi di rete First mile: collegamento tra il content provider ed Internet Peering point punto di connessione tra diversi Autonomous System (AS) Backbone Last mile collegamento del client al proprio ISP Content provider SD - Valeria Cardellini, A.A. 2009/10 2

2 Problema del network delivery Il traffico Internet si distribuisce tra Autonomous System (AS) AS: gruppo di router e reti sotto il controllo di una singola e ben definita autorità amministrativa Alcuni AS nel mondo: AT&T, BBN Planet, Sprint, Alcuni AS in Italia: Fastweb, Tele2, Telecom Italia, Wind- Infostrada Nessun AS gestisce più del 5% del traffico La stragrande maggioranza degli AS gestisce molto meno dell 1% del traffico Soluzione: distribuire i in molti (quasi tutti i principali) AS Quali? SD - Valeria Cardellini, A.A. 2009/10 3 Quali? Non è possibile distribuire i Web cluster in (quasi) tutti i AS Occorre distinguere tra primari e secondari La replicazione dei primari si limita a qualche unità Perché? Per non limitare la scalabilità del SD a causa dei problemi di aggiornamento e mantenimento della consistenza dei contenuti Il numero ottimale dipende dalla volatilità dell informazione, ma in genere oltre 10 primari, i costi per gestire e garantire la consistenza dei dati replicati superano i vantaggi ottenibili dalla replica dei. [Jim Gray] Soluzione: replicare parzialmente il contenuto tra secondari, possibilmente in locazioni di rete vicine ai client Server secondari: cache, proxy, edge, reverse proxy, SD - Valeria Cardellini, A.A. 2009/10 4

3 Chi effettua il network caching e delivery Content consumer Effettuato dal browser sul disco Effettuato da un proxy (gestito da istituzione o ISP) per conto di un gruppo di client Content provider Effettuato dai reverse proxy Obiettivo: ridurre il carico sulla piattaforma Terze parti Integrati lato content consumer: sistemi di proxy cooperativi! Gestiti da Istituzioni o ISP Integrati lato content provider: Content Delivery Network (CDN) gestiti da società specializzate edge : nodi della CDN per la distribuzione e consegna dei contenuti e dei servizi basati su Web Per approfondimenti: SD - Valeria Cardellini, A.A. 2009/10 5 Quali problemi? Dove posizionare i secondari? Dove propagare? Che cosa propagare e con quale meccanismo? Soluzioni già esaminate (vedi Consistenza e replicazione nei SD) SD - Valeria Cardellini, A.A. 2009/10 6

4 Metriche di prestazione per network caching Per misurare l efficacia del caching si possono usare le seguenti metriche: Tasso di hit (cache hit rate) Percentuale di richieste servite dai secondari Tasso di byte hit Percentuale di byte serviti dai secondari Banda risparmiata Quantifica la diminuzione nel numero di byte richiesti agli primari Riduzione della latenza di comunicazione Quantifica la diminuzione nel tempo di trasmissione rispetto ai primari SD - Valeria Cardellini, A.A. 2009/10 7 Sistemi di proxy cooperativi Diversi proxy possono cooperare per Migliorare le metriche di prestazione del caching Distribuire meglio il carico tra più Aumentare la scalabilità Aumentare l affidabilità Ma la cooperazione introduce dei problemi di overhead Proxy Internet Proxy Client Client Proxy Client SD - Valeria Cardellini, A.A. 2009/10 8

5 Modalità di cooperazione A chi chiedere informazioni? Organizzazione gerarchica: relazione genitori-figli verticale Se un proxy figlio ha un cache miss chiede al proxy genitore Organizzazione flat: relazione paritetica orizzontale Se un proxy ha un cache miss chiede a tutti o a un sotto-insieme di proxy di pari livello (peer) Quando chiedere informazioni? Schema query-based: query al momento del cache miss Schema informed-based: scambio periodico di informazioni tra i proxy indipendentemente dalla richiesta SD - Valeria Cardellini, A.A. 2009/10 9 Organizzazioni gerarchica e flat Gerarchica upstream downstream clients clients clients Anche cooperazione tra cache di pari livello per aumentare le prestazioni (gerarchica + flat) clients clients clients SD - Valeria Cardellini, A.A. 2009/10 10

6 Schema query-based Ad es. Internet Cache Protocol (ICP): basato su probe di tipo multicast tra vicini Si contatta il proxy che risponde per primo con un hit per ottenere la risorsa, oppure si attende di ricevere tutte le risposte di miss (o lo scadere di un timeout) Messaggi ICP su UDP, recupero della risorsa su HTTP object request object response query (probe) query response SD - Valeria Cardellini, A.A. 2009/10 11 Schema informed-based Ad es. Cache Digests: basato sullo scambio tra i proxy di un digest del contenuto delle cache Ogni proxy replica la directory (summary) di ciascuno dei suoi peer Un peer viene contattato solo se il summary locale indica un hit per la risorsa cercata Summary basato su filtri di Bloom per ridurre l overhead di memorizzazione Ogni summary è di circa 3 ordini di grandezza più piccolo della cache corrispondente Filtro di Bloom: struttura dati probabilistica molto compatta, usata per determinare se un elemento appartiene ad un insieme prestabilito di elementi Usando un filtro di Bloom possono esserci falsi hit (circa 1%) ma non falsi miss (ovvero possibilità di falso positivo ma non di falso negativo) SD - Valeria Cardellini, A.A. 2009/10 12

7 Scambio di informazioni Schema query-based Minor rischio di informazioni incongruenti (falsi hit e falsi miss) Maggiore latenza: occorre aspettare la risposta Minore overhead di comunicazione (si scambiano informazioni solo quando serve) Schema informed-based Maggior rischio di informazioni incongruenti Minima latenza (si sa già dove andare) Maggiore overhead di comunicazione (si scambiano informazioni periodicamente) Quindi: tradeoff tra overhead e incongruenza SD - Valeria Cardellini, A.A. 2009/10 13 Caching di risorse volatili/dinamiche Numerose proposte, tra cui Active Cache: applet Java eseguite sui proxy Soluzioni integrate con tecnologie di database, es. Oracle 10g Frammentazione della pagina I frammenti di cui è composta la pagina possono essere statici o dinamici, avere diverse caratteristiche di personalizzazione e di durata A. Iyengar, L. Ramaswamy, B. Schroeder, Techniques for Efficiently Serving and Caching Dynamic Web Content, Book chapter in Web Content Delivery, Springer, SD - Valeria Cardellini, A.A. 2009/10 14

8 Standard ESI Standard aperto Edge Side Includes (ESI) per gestire la frammentazione della pagina Obiettivo: separare le funzionalità di consegna del contenuto e generazione del contenuto per incrementare la scalabilità e ridurre i costi Semplice linguaggio di markup basato su XML per descrivere componenti di una pagina Web in termini di frammenti ESI che sono cacheable e noncacheable Tag XML per specificare frammenti ESI in una pagina Web Per ciascun frammento ESI si può specificare un diverso requisito per il caching Supportato ad es. da mongrel-esi, un proxy ESI SD - Valeria Cardellini, A.A. 2009/10 15 Standard ESI (2) Il TTL permette di specificare fino a quando è valida la copia del frammento in cache SD - Valeria Cardellini, A.A. 2009/10 16

9 Potenziali vantaggi del network caching Riduzione del tempo di latenza Dati nei proxy sono più vicini agli utenti Minor consumo della larghezza di banda Dati nei proxy attraversano un numero inferiore di hop di Internet Riduzione del carico sui Web Un numero minore di richieste raggiunge i Web Tuttavia, vari studi dimostrano che il network caching generalizzato (relativo a tutto il Web) ha una efficacia limitata, ovvero bassi cache hit rate Come sfruttare al meglio i meccanismi del network caching cooperativo che in certi contesti sembra avere prestazioni e prospettive limitate? SD - Valeria Cardellini, A.A. 2009/10 17 Content delivery Content delivery: strategia per distribuire il contenuto mediante Internet secondo la modalità pay-per-delivery Content = materiale digitale per cui qualcuno (utente, ISP, content provider, ) è disposto a pagare Esempi: oggetti di pagine Web, video-on-demand, musica payper-download, distribuzione software, software pay-per-use Content Delivery Network o Content Distribuiton Network (CDN) Numerose società specializzate: il content delivery genera profitti I secondari sono distribuiti in molti (quasi tutti) gli AS L infrastruttura della CDN può avere dimensioni impressionanti (ad es. Akamai) SD - Valeria Cardellini, A.A. 2009/10 18

10 Content Delivery Network Formata da un infrastruttura di (detti edge, content, o delivery ) che lavorano insieme Edge distribuiti su una vasta area geografica per permettere la fornitura dei contenuti da locazioni più vicine all utente (edge = bordi della rete) Il content provider delega il servizio del contenuto del proprio sito Web (fornito dall origin ) ad una compagnia che gestisce una CDN (content outsourcing) Gli edge forniscono soltanto il contenuto dei siti Web gestiti dalla CDN Una CDN commerciale stabilisce con i suoi clienti degli accordi sul livello di servizio da soddisfare e si impegna a rispettare tali accordi (Service Level Agreement o SLA) SD - Valeria Cardellini, A.A. 2009/10 19 Caching cooperativo e CDN Caching cooperativo e CDN hanno in comune: architettura costituita da un infrastruttura di secondari che operano in modo cooperativo secondari distribuiti su una vasta area geografica per permettere il delivery da locazioni vicine all utente Per il resto differiscono sostanzialmente Web caching Opera in modo indipendente dai content provider Costo per ISP (risparmio di banda), non per i content provider Caching generalizzato: memorizzato il contenuto di tutti i siti Web CDN Il content provider delega la distribuzione alla CDN Costo per i content provider, non per ISP Caching selettivo: memorizzato solo il contenuto dei siti Web gestiti dalla CDN SD - Valeria Cardellini, A.A. 2009/10 20

11 Architettura di una CDN Aggiornamento del contenuto (statico, dinamico, volatile, multimediale, live streaming) Server Web (origin ) Interior cache Cache (content, edge ) SD - Valeria Cardellini, A.A. 2009/10 21 Perché usare una CDN? Scopo simile al Web caching: Avvicinare il contenuto agli utenti per ridurre il tempo di latenza ed il carico sull origin ma con garanzia sulle prestazioni ed altri vantaggi Web caching CDN cache riempite in seguito alle richieste degli utenti (pull) overhead sul sito Web per l offloading ripetuto da parte di ogni proxy mancanza di controllo del contenuto nelle cache da parte del content provider perdita di molte informazioni sulla distribuzione del contenuto da parte del content provider contenuto memorizzato in anticipo (prefetching) overhead sul sito Web derivante dall unico offloading controllo diretto del contenuto degli edge da parte del content provider statistiche accurate sui pattern di accesso al sito Web per il content provider SD - Valeria Cardellini, A.A. 2009/10 22

12 Perché usare una CDN? (2) Perché una CDN e non un Web cluster o un multicluster? I Web cluster possono essere lontani dagli utenti e possono fallire a causa di congestioni di rete Il content provider deve possedere l infrastruttura di servizio (o pagare un data center) Le CDN possono avere una migliore reattività a sovraffollamenti improvviso (flash crowd) rispetto ai Web multi-cluster Un pattern di accesso normale e tre corrispondenti a flash crowd La scelta dipende anche dal tipo di sito offerto dal content provider SD - Valeria Cardellini, A.A. 2009/10 23 Contenuti serviti da CDN CDN generalmente usata per fornire il delivery di:! Contenuti non streaming Contenuto statico delle pagine Web, in particolare immagini Contenuto volatile, dinamico (in modo parziale) Contenuto con autenticazione Autenticazione prevista dal protocollo HTTP Contenuto sicuro Protocollo HTTPS Contents/ services E-docs Web Pages Streaming media Music (MP3) / Audio CDN Cell Phone Smart phone / PDA! Contenuti streaming on-demand Contenuto digitalizzato e memorizzato come media file su media (ad es. video-on-demand, clip musicali)! Contenuti streaming live Contenuto distribuito quasi istantaneamente come media file ( ad es. eventi sportivi e musicali) Clients Desktop Laptop SD - Valeria Cardellini, A.A. 2009/10 24

13 Evoluzione delle CDN Changed focus, increased functional ability, improved performance, user-centric Pre CDN Evolutions Server farms Hierarchical caching Caching proxy deployment First Generation CDNs Static and Dynamic Content Second Generation CDNs Video on Demand, media streaming, mobile CDNs Third Generation CDNs Communitybased CDNs Improved Web Pre-evolutionary period Late 90's onwards SD - Valeria Cardellini, A.A. 2009/10 25 Componenti dell architettura di una CDN Componenti di content delivery Origin ed un insieme di edge per replicare il contenuto Componente di request routing Indirizza le richieste degli utenti verso gli edge Interagisce con il componente di distribuzione per mantenere una vista aggiornata del contenuto Componente di distribuzione del contenuto Replica il contenuto dall origin agli edge e mantiene la consistenza Componente di accounting Mantiene i log degli accessi degli utenti e registra l uso degli edge Coadiuva l analisi del traffico e la tariffazione basata sull uso SD - Valeria Cardellini, A.A. 2009/10 26

14 Gestione della consistenza Come garantire che le copie delle risorse sugli edge siano consistenti con la risorsa sull origin? Approcci possibili (già esaminati) per gestire la consistenza in modo guidato dall origin (di tipo push): Aggiornamento periodico Propagazione dell aggiornamento Aggiornamento on-demand Invalidazione SD - Valeria Cardellini, A.A. 2009/10 27 Request routing Quale meccanismo di routing con cui ridirigere verso un edge una richiesta di un client per una risorsa servita dalla CDN? Principali tecniche adottate: uso del Domain Name System: redirezione DNS riscrittura URL con hostname simbolici: URL rewriting riscrittura URL con indirizzo IP: URL-IP rewriting Altre possibilità Redirezione mediante protocollo HTTP/RTSP Anycast (IP o applicativo), IP tunneling Le società CDN usano nomi altisonanti (es. Global Traffic Management system), ma in realtà i principali dispositivi per il routing sono costituiti da DNS autoritativi, arricchiti con funzionalità di controllo sullo stato della rete e degli edge SD - Valeria Cardellini, A.A. 2009/10 28

15 Redirezione DNS Il DNS autoritativo del sito Web delega la risoluzione dell hostname nell URL in un indirizzo IP ad un DNS autoritativo controllato dalla CDN Nell effettuare il mapping da hostname a indirizzo IP, il DNS della CDN sceglie un determinato edge Come nei Web multi-cluster Il valore del TTL assegnato dal DNS della CDN è prossimo a 0 Limitando il caching nei name locali e intermedi, il DNS della CDN aumenta il controllo sul mapping tra hostname e indirizzo IP, facilitando così la condivisione del carico tra gli edge Per evitare che il DNS della CDN sia il collo di bottiglia, la CDN deve possedere un infrastruttura DNS scalabile (es. Akamai) Ci sono comunque DNS non cooperativi (circa 17%), che violano il TTL stabilito dal DNS della CDN SD - Valeria Cardellini, A.A. 2009/10 29 Redirezione DNS (2) Due tipologie di CDN che usano la redirezione DNS: full-content delivery (o first hit at CDN) L origin è nascosto a tutti, eccetto che alla CDN Il DNS autoritativo dell origin è modificato in modo da delegare le richieste di risoluzione al DNS autoritativo della CDN (DNS outsourcing) Tutte le richieste indirizzate all origin arrivano agli edge partial-content delivery (o first hit at origin) L origin modifica nella pagina (X)HTML l URL delle risorse incluse nella pagina (immagini, video, audio, ) applicando la tecnica dell URL rewriting Esempio: viene modificato in L hostname nell URL modificato è risolto in un indirizzo IP dal DNS autoritativo della CDN SD - Valeria Cardellini, A.A. 2009/10 30

16 URL rewriting L origin riscrive dinamicamente gli URL nella pagina (X)HTML in modo da ridirigere le richieste dei client per le risorse incluse (embedded) verso un edge della CDN L edge più vicino, il meno carico, una combinazione di entrambe le metriche, Due alternative di rewriting URL riscritta con indirizzo IP: indirizzamento diretto dell edge Soluzione meno usata URL riscritta con hostname: indirizzamento indiretto dell edge Nella successiva fase di risoluzione del nuovo hostname, il DNS della CDN seleziona l edge migliore SD - Valeria Cardellini, A.A. 2009/10 31 Routing mediante URL rewriting edge Client edge edge edge edge edge edge Pagina HTML (URL) edge Origin Pagina HTML SD - Valeria Cardellini, A.A. 2009/10 32

17 Mapping del sistema Web sulla CDN Livelli logici di un sistema Web Front-end layer Application layer Back-end layer User profile layer: memorizza informazioni sulle preferenze dell utente e sul contesto Replicazione del front-end layer Edge Replicazione dell application layer Edge computing Replicazione del back-end layer Per la generazione del contenuto dinamico Replicazione dell user profile layer Per la generazione del contenuto personalizzato SD - Valeria Cardellini, A.A. 2009/10 33 Replicazione del front end layer Per migliorare le prestazioni e la scalabilità del delivery di contenuto statico Si usa il fragment-based caching caching solo della parte più popolare di ogni contenuto Standard Edge Side Includes (ESI) IBM WebSphere Edge Server Principale svantaggio Scarsamente applicabile a contenuto dinamico e personalizzato SD - Valeria Cardellini, A.A. 2009/10 34

18 Replicazione dell application layer Per migliorare il delivery di contenuto dinamico Codice applicativo per la generazione del contenuto dinamico replicato su molteplici edge (edge computing) Computazione spinta verso i bordi Tuttavia, gli edge condividono ancora un back-end layer centralizzato sull origin Standard Akamai EdgeComputing, Application CDN (ACDN), DotSlash Vantaggi Deployment automatico Svantaggi Gestione di picchi di carico improvvisi Provisioning dinamico Dati centralizzati sull origin Ritardi WAN per accedere ai dati e collo di bottiglia delle prestazioni SD - Valeria Cardellini, A.A. 2009/10 35 Replicazione del back-end Per migliorare il bottleneck di scalabilità rappresentato dal back-end layer 1) Content blind caching Ogni edge memorizza in cache I risultati delle query al DB Uso di sofisticati engine di query matching per rispondere ad una nuova query usando il risultato di query in cache Esempi: GlobeCGC, QCache 2) Content aware caching Ogni edge ha il proprio DB, che contiene una vista parziale del DB centralizzato Problemi di consistenza Esempi: GlobeDB, IBM DB2 3) Replicazione completa del DB Copie identiche del DB in molteplici locazioni Seri problemi di gestione della consistenza SD - Valeria Cardellini, A.A. 2009/10 36

19 Content peering Cooperazione tra più CDN per migliorare scalabilità, tolleranza ai guasti e prestazioni Routing tra CDN effettuato a livello di DNS Il DNS (potenziato) deve essere in grado di fornire l indirizzo di una CDN che serve una regione geografica L intera CDN agisce come un edge, recuperando il contenuto e tariffando il costo dell operazione alla CDN richiedente SD - Valeria Cardellini, A.A. 2009/10 37 Alcune CND commerciali: Diffusione delle CDN Alcune CDN accademiche: Caratterizzate dall uso di tecnologie P2P Generalmente limitate al delivery di contenuti statici CoDeeN, Coral, Globule Akamai è la società leader Delivery del 10-20% del traffico Web (fino a 650 Gbps) Akamai EdgePlatform composta da oltre edge in 70 paesi SD - Valeria Cardellini, A.A. 2009/10 38

20 Partial content delivery in Akamai L origin del content provider che delega il servizio di parte delle proprie risorse all infrastruttura di edge gestita da Akamai deve rinominare gli URL ad esse relative usando un prefisso specifico Il prefisso include un hostname, ad es. a799.g.akamai.net La risoluzione dell hostname nell indirizzo IP di un edge di Akamai è gestita dall infrastruttura di DNS di Akamai L edge scelto è vicino al DNS locale del client e non è sovraccarico Edge : non un singolo fisico, ma un Web cluster Algoritmo di selezione (proprietario): combinazione di informazioni su topologia di rete (BGP), prossimità (traceroute o round trip time) e stato di carico degli edge Problema per la prossimità: non sempre il DNS locale è vicino al client SD - Valeria Cardellini, A.A. 2009/10 39 Partial content delivery in Akamai (2) Esempio: Il client richiede all origin la pagina Web che contiene image.gif come risorsa embedded L origin fornisce in risposta la risorsa (X)HTML, in cui l URL della risorsa è riscritta come Il prefisso a799.g.akamai.net individua un edge gestito da Akamai Tramite DNS, il client risolve a799.g.akamai.net in un indirizzo IP, ad esempio (distante solo 5 hop dal client, anziché più di 17 come l origin ) Il client invia la richiesta HTTP per image.gif all edge SD - Valeria Cardellini, A.A. 2009/10 40

21 Partial content delivery in Akamai (3) Esempio (continua): Se l edge possiede una copia consistente della risorsa image.gif, la invia al client Nell URL riscritta vi è un identificatore univoco che viene modificato dall origin ogni volta che la risorsa cambia Altrimenti, richiede la risorsa tramite un protocollo interno ad un altro edge di Akamai oppure all origin e la memorizza nella propria cache Un altro client appartenente ad un altra rete che richiede la stessa pagina avrà un URL uguale per l immagine ma l indirizzo IP dell edge scelto potrebbe essere diverso SD - Valeria Cardellini, A.A. 2009/10 41 Infrastruttura DNS di Akamai Akamai utilizza una gerarchia di name (doppio livello) per risolvere l hostname nell indirizzo IP di un edge Esempio (dopo la prima risoluzione del DNS) 6 1 Content provider s origin Akamai high-level DNS Akamai edge Client Local DNS 4 Akamai low-level DNS SD - Valeria Cardellini, A.A. 2009/10 42

22 DNS black magic PCWorld Authoritative DNS Server PCWorld Web Server Top-Level Domain DNS Server CNAME: images.pcworld.com a1694.g.akamai.net http request/response Root DNS Server Akamai High-Level DNS Server a1694.g.akamai.net images.pcworld.com Local DNS Server Web Client Akamai Low-Level a1694.g.akamai.net DNS Server 2 ip addresses of Akamai Edge Servers 2 ip addresses of Akamai Edge Servers fetch image files Akamai Edge Server Tratto da: Drafting Behind Akamai (Travelocity-Based Detouring) Nel 2009 PCWorld non usa più Akamai ma un altra CDN SD - Valeria Cardellini, A.A. 2009/10 43 Esempio: FOX Sports Sito msn.foxsports.com gestito con full content delivery da Akamai Risolvendo l hostname msn.foxsports.com con dig [~]$ dig msn.foxsports.com ; <<>> DiG <<>> msn.foxsports.com... ;; ANSWER SECTION: msn.foxsports.com. 300 IN CNAME IN CNAME a1837.g.akamai.net. a1837.g.akamai.net. 20 IN A a1837.g.akamai.net. 20 IN A TTL=20 sec Akamai edge SD - Valeria Cardellini, A.A. 2009/10 44

23 Esempio: FOX Sports (2) Dove sono localizzati gli edge con indirizzo IP e ? Usando traceroute, si scopre che sono distanti 7 hop dalla macchina usata come client Usando un servizio di geolocalizzazione di indirizzi IP, si scopre che sono entrambi in Italia: uno a Torino, l altro a Roma Usando un client in un altro ISP (oppure risolvendo il nome in un altro momento) è possibile ottenere un risultato diverso per il mapping tra l hostname msn.foxsports.com e l indirizzo IP di un edge SD - Valeria Cardellini, A.A. 2009/10 45