Sistemi Web geografici per content caching e delivery

Transcript

1 Università degli Studi di Roma Tor Vergata Dipartimento di Ingegneria Civile e Ingegneria Informatica Sistemi Web geografici per content caching e delivery Corso di Sistemi Distribuiti e Cloud Computing A.A. 2013/14 Valeria Cardellini Colli di bottiglia nell application/content delivery In un contesto Internet: di gestioni autonome standard da rispettare funzionamento best effort backbone Client Autonomous System Last mile backbone backbone (>10Gbps) Peering point First mile Potenziali problemi di rete First mile: collegamento tra l application provider ed Internet Peering point punto di connessione tra diversi Autonomous System (AS) Backbone Last mile collegamento del client al proprio ISP Application provider Valeria Cardellini - SDCC 2013/14 2

2 Problemi del network delivery Il traffico Internet si distribuisce tra Autonomous System (AS) (dati di fine 2012) AS: gruppo di router e reti sotto il controllo di una singola e ben definita autorità amministrativa Alcuni AS nel mondo: AT&T, BBN Planet, Sprint, Alcuni AS in Italia: Fastweb, Tele2, Telecom Italia, Wind- Infostrada Nessun AS gestisce più del 5% del traffico totale La stragrande maggioranza degli AS gestisce molto meno dell 1% del traffico Soluzione per il network delivery: distribuire i server in molti (quasi tutti i principali) AS Quali server? Valeria Cardellini - SDCC 2013/14 3 Quali server? Non è possibile distribuire Web cluster in (quasi) tutti gli AS: troppo costoso per il singolo provider! Occorre distinguere tra nodi primari e secondari Nodo = server o cluster di server Tipicamente la replicazione dei nodi primari si limita a qualche unità Perché? Per non limitare la scalabilità dell infrastruttura lato server a causa dei problemi di aggiornamento dell applicazione e mantenimento della consistenza Il numero ottimale dipende dalla volatilità dell informazione, ma in genere oltre 10 server primari, i costi per gestire e garantire la consistenza dei dati replicati superano i vantaggi ottenibili dalla replica dei server. [Jim Gray] Soluzione: replicare parzialmente contenuti/applicazioni tra nodi secondari, possibilmente vicini ai client Nodi secondari: cache server, proxy server, edge server Valeria Cardellini - SDCC 2013/14 4

3 Chi effettua application/content caching e delivery Application/content consumer Effettuato da: browser su disco del dispositivo utente Effettuato da: proxy server (gestito da istituzione o ISP) per conto di un gruppo di utenti Application/content provider Effettuato dai reverse proxy (ad es. memcached) Obiettivo: ridurre il carico sull infrastruttura lato server Terze parti Integrati lato content consumer: sistemi di proxy server cooperativi gestiti da istituzioni o ISP Integrati lato content provider: Content Delivery Network (CDN) gestiti da società specializzate edge server: nodi della CDN per la distribuzione e consegna di contenuti e applicazioni Web Valeria Cardellini - SDCC 2013/14 5 Quali problemi? Dove posizionare i server secondari? Dove propagare? Che cosa propagare e con quale meccanismo? Soluzioni già esaminate (vedi Consistenza e replicazione nei SD) Valeria Cardellini - SDCC 2013/14 6

4 Metriche di prestazione per network caching Principali metriche per misurare l efficacia del caching: Tasso di hit (cache hit rate) Percentuale di richieste servite dai nodi secondari Tasso di byte hit Percentuale di byte serviti dai nodi secondari Banda risparmiata Quantifica la diminuzione nel numero di byte richiesti ai nodi primari Riduzione della latenza di comunicazione Quantifica la diminuzione nel tempo di trasmissione rispetto ai nodi primari Valeria Cardellini - SDCC 2013/14 7 Caching cooperativo Diversi proxy server possono cooperare per Migliorare le prestazioni Aumentare la scalabilità Aumentare l affidabilità La cooperazione introduce però un overhead di gestione Proxy Internet Proxy Client Client Proxy Client Valeria Cardellini - SDCC 2013/14 8

5 Modalità di cooperazione A chi chiedere informazioni? Organizzazione gerarchica: relazione genitori-figli Se un proxy server figlio ha un cache miss chiede al proxy server genitore Organizzazione flat: relazione paritetica Se un proxy server ha un cache miss chiede a tutti o a un sotto-insieme di proxy server di pari livello (peer) Quando avviene lo scambio di informazioni? Schema query-based: in seguito ad un cache miss Schema informed-based: periodicamente Valeria Cardellini - SDCC 2013/14 9 Schema query-based Ad es. Internet Cache Protocol (ICP): invio di query in multicast ai proxy vicini Si contatta il proxy server che risponde per primo con un hit per ottenere la risorsa, oppure si attende di ricevere tutte le risposte di miss (o lo scadere di un timeout) Messaggi ICP su UDP, recupero della risorsa su HTTP object request! object response! query (probe)! query response! Valeria Cardellini - SDCC 2013/14 10

6 Schema informed-based Ad es. Cache Digests: basato sullo scambio tra i proxy server di un digest del contenuto delle cache Ogni proxy server replica la directory (summary) di ciascuno dei suoi peer Un peer viene contattato solo se il summary locale indica un hit per la risorsa cercata Summary basato su filtri di Bloom per ridurre l overhead di memorizzazione Ogni summary è di circa 3 ordini di grandezza più piccolo della cache corrispondente Filtro di Bloom: struttura dati probabilistica molto compatta, usata per determinare se un elemento appartiene ad un insieme prestabilito di elementi Usando un filtro di Bloom possono esserci falsi hit (circa 1%) ma non falsi miss (ovvero possibilità di falsi positivi ma non di falsi negativi) Valeria Cardellini - SDCC 2013/14 11 Confronto tra schemi Schema query-based Minor rischio di informazioni incongruenti (falsi hit e falsi miss) Maggiore latenza: occorre aspettare la risposta Minore overhead di comunicazione (si scambiano informazioni solo quando serve) Schema informed-based Maggior rischio di informazioni incongruenti Minima latenza (si sa già dove andare) Maggiore overhead di comunicazione (si scambiano informazioni periodicamente) Quindi: tradeoff tra overhead e incongruenza Valeria Cardellini - SDCC 2013/14 12

7 Prospettive del caching cooperativo Alcuni possibili svantaggi: maggiore complessità della configurazione del sistema maggiore ritardo nella risoluzione di un cache miss Prospettive Con il crescere della banda disponibile nel backbone della rete e la riduzione dei costi dello storage, l uso esteso del caching cooperativo sta progressivamente scomparendo Current and future IP networks provide bandwidth ranging from 155 Mbps to 2.4Gbps Esempio: il servizio di Web caching fornito dal GARR italiano Tuttavia soluzione utile in reti ad-hoc e reti di sensori Valeria Cardellini - SDCC 2013/14 13 Caching di risorse volatili/dinamiche Numerose proposte, tra cui memcached: già esaminato Soluzioni integrate con tecnologie di database, es. Oracle Database 11g Frammentazione della pagina Web I frammenti di cui è composta la pagina possono essere statici o dinamici, avere diverse caratteristiche di personalizzazione e di durata A. Iyengar, L. Ramaswamy, B. Schroeder, Techniques for Efficiently Serving and Caching Dynamic Web Content, Book chapter in Web Content Delivery, Springer, Valeria Cardellini - SDCC 2013/14 14

8 Edge Side Includes (ESI) Proposta di standard aperto per gestire la frammentazione di pagine Web Obiettivo: separare le funzionalità di consegna e generazione del contenuto per incrementare la scalabilità e ridurre i costi Semplice linguaggio di markup basato su XML per descrivere i componenti di una pagina Web in termini di frammenti ESI che sono cacheable e noncacheable Tag XML per specificare frammenti ESI in una pagina Web Per ciascun frammento ESI si può specificare un diverso requisito per il caching Usato da Akamai e supportato ad es. da alcuni proxy server (tra cui Varnish e Squid) Valeria Cardellini - SDCC 2013/14 15 Edge Side Includes (2) Il TTL associato a ciascun frammento permette di specificare fino a quando è valida la copia del frammento in cache Valeria Cardellini - SDCC 2013/14 16

9 In conclusione, il content caching Presenta alcuni vantaggi potenziali: Riduzione del tempo di latenza Dati nei proxy server sono più vicini agli utenti Minor consumo della larghezza di banda Dati nei proxy server attraversano un numero inferiore di hop di Internet Riduzione del carico sui server Web Un numero minore di richieste raggiunge i server Web Tuttavia, vari studi dimostrano che il caching generalizzato (relativo a qualsiasi risorsa Web) ha una efficacia limitata, ovvero bassi cache hit rate Come sfruttare meglio i meccanismi del caching cooperativo? Application/content delivery! Valeria Cardellini - SDCC 2013/14 17 Application/content delivery Application/content delivery: strategia per distribuire applicazioni/contenuti mediante Internet secondo la modalità pay-per-delivery Application/content = materiale digitale per cui qualcuno (utente, ISP, application/content provider, ) è disposto a pagare Esempi: risorse Web, video-on-demand, musica pay-perdownload, distribuzione software, software pay-per-use Content Delivery Network (CDN) A partire dal 1999 diverse società specializzate: il content delivery genera profitti Anche come servizio Cloud (ad es. CloudFront di Amazon) Nelle CDN di grandi dimensioni, i nodi secondari sono distribuiti in molti (quasi tutti) gli AS Dimensioni impressionanti dell infrastruttura della CDN (ad es. Akamai) Valeria Cardellini - SDCC 2013/14 18

10 Content Delivery Network Formata da un infrastruttura di server (detti edge server, content server, surrogate o delivery server) cooperativi Edge server distribuiti su una vasta area geografica per permettere la fornitura dei contenuti da locazioni più vicine all utente (edge = bordi della rete) L application/content provider delega il servizio della propria applicazione/contenuto (fornito dall origin server) ad una società che gestisce una CDN (content outsourcing) Gli edge server forniscono soltanto le applicazione/contenuti gestiti dalla CDN Una CDN commerciale stabilisce con i suoi clienti degli accordi sul livello di servizio da soddisfare e si impegna a rispettare tali accordi mediante la definizione di Service Level Agreement (SLA) Valeria Cardellini - SDCC 2013/14 19 Architettura di una CDN Aggiornamento del contenuto (statico, dinamico, volatile, multimediale, live streaming) Server Web (origin server) Interior cache server Cache server (edge server) Valeria Cardellini - SDCC 2013/14 20

11 Valeria Cardellini - SDCC 2013/14 Caching cooperativo e CDN Caching cooperativo e CDN hanno in comune: Architettura: infrastruttura di server secondari che operano in modo cooperativo e sono distribuiti su una vasta area geografica Obiettivo: avvicinare le applicazioni/contenuti agli utenti per ridurre il tempo di latenza ed il carico sull origin server Per il resto differiscono sostanzialmente Web caching CDN Opera in modo indipendente dall application/content provider Costo per ISP, non per application/content provider Servizio generalizzato: memorizzati i dati di qualsiasi applicazione Web Pull dei contenuti sui nodi secondari Mancanza di garanzie sulle prestazioni L application/content provider delega la distribuzione alla CDN Costo per application/content provider, non per ISP Servizio selettivo: memorizzati solo i dati delle applicazioni Web gestite dalla CDN Possibile prefetching sui nodi secondari SLA sulle prestazioni 21 Perché usare una CDN? (2) Perché una CDN e non un Web multi-cluster? I Web cluster possono essere lontani dagli utenti e fallire a causa di congestioni di rete L application/content provider deve possedere l infrastruttura di servizio (o affittarla da un data center o IaaS provider) Le CDN possono avere una migliore reattività a picchi di richeste improvvisi ed inattesi (flash crowd) Un pattern di accesso normale e tre corrispondenti a flash crowd La scelta dipende anche dal tipo di applicazione: ad es. Google non usa una CDN! Valeria Cardellini - SDCC 2013/14 22

12 Contenuti serviti da CDN CDN generalmente usata per fornire il delivery di: Contenuti non streaming Contenuto statico, in particolare immagini Contenuto volatile, dinamico (in modo parziale) Contenuto con autenticazione Autenticazione prevista dal protocollo HTTP Contenuto sicuro Protocollo HTTPS Contents/ services E-docs Web Pages Streaming media Music (MP3) / Audio CDN Clients Cell Phone Smart phone / PDA Desktop Laptop Contenuti streaming on-demand Contenuto digitalizzato e memorizzato come media file su media server (ad es. video-on-demand, clip musicali) Contenuti streaming live Contenuto distribuito quasi istantaneamente come media file (ad es. eventi sportivi e musicali) Valeria Cardellini - SDCC 2013/14 23 Componenti dell architettura di una CDN Componente di content delivery Origin server ed un insieme di edge server per replicare il contenuto Componente di request routing Indirizza le richieste degli utenti verso gli edge server Interagisce con il componente di distribuzione per mantenere una vista aggiornata del contenuto Componente di distribuzione del contenuto Replica il contenuto dall origin server agli edge server e mantiene la consistenza Componente di accounting Mantiene i log degli accessi degli utenti e registra l uso degli edge server Coadiuva l analisi del traffico e la tariffazione in base all uso Valeria Cardellini - SDCC 2013/14 24

13 Gestione della consistenza Come garantire che le copie di ciascuna risorsa sugli edge server siano consistenti con la risorsa sull origin server? Soluzioni (già esaminate) per gestire la consistenza in modo guidato dall origin server (approccio push): Aggiornamento periodico Propagazione dell aggiornamento Aggiornamento on-demand Invalidazione Anche possibile approccio pull Vedi soluzione di Akamai per partial content delivery Valeria Cardellini - SDCC 2013/14 25 Request routing Quale meccanismo di routing con cui ridirigere verso un edge server la richiesta effettuata da un client per una risorsa servita dalla CDN? Principali tecniche adottate: uso del Domain Name System: redirezione DNS riscrittura URL con hostname simbolici: URL rewriting riscrittura URL con indirizzo IP: URL-IP rewriting Altre possibilità Redirezione mediante protocollo HTTP/RTSP IP anycast (ad es. CloudFlare), IP tunneling Le CDN usano nomi altisonanti (es. Global Traffic Management) ma in realtà i dispositivi per il routing delle richieste sono server DNS autoritativi, arricchiti con funzionalità di controllo sullo stato della rete e degli edge server Valeria Cardellini - SDCC 2013/14 26

14 Redirezione DNS Il DNS autoritativo del sito Web delega la risoluzione dell hostname nell URL in un indirizzo IP ad un DNS autoritativo controllato dalla CDN Nell effettuare il mapping da hostname a indirizzo IP, il DNS della CDN sceglie un determinato edge server Come nei Web multi-cluster Il valore del TTL assegnato dal DNS della CDN è prossimo a 0 Limitando il caching nei name server locali e intermedi, il DNS della CDN aumenta il controllo sul mapping tra hostname e indirizzo IP, facilitando così la condivisione del carico tra gli edge server Per evitare che il DNS della CDN sia il collo di bottiglia, la CDN deve possedere un infrastruttura DNS scalabile (es. Akamai) Ci sono comunque DNS server non cooperativi (circa 17%), che violano il TTL stabilito dal DNS della CDN Valeria Cardellini - SDCC 2013/14 27 Redirezione DNS (2) Due tipologie di CDN che usano la redirezione DNS: full-content delivery (o first hit at CDN) L origin server è nascosto a tutti, eccetto che alla CDN Il DNS autoritativo dell origin server è modificato in modo da delegare le richieste di risoluzione al DNS server autoritativo della CDN (DNS outsourcing) Tutte le richieste indirizzate all origin server arrivano agli edge server partial-content delivery (o first hit at origin) L origin server modifica nella pagina (X)HTML l URL delle risorse incluse nella pagina (immagini, video, audio, ) applicando la tecnica dell URL rewriting Esempio: viene modificato in cdn-foo.net/ L hostname nell URL modificato è risolto in un indirizzo IP dal DNS server autoritativo della CDN Valeria Cardellini - SDCC 2013/14 28

15 URL rewriting L origin server riscrive dinamicamente gli URL nella pagina (X)HTML in modo da ridirigere le richieste dei client per le risorse incluse (embedded) verso un edge server della CDN L edge server più vicino, il meno carico, una combinazione di entrambe le metriche, Due alternative di rewriting URL riscritta con indirizzo IP: indirizzamento diretto dell edge server Soluzione meno usata URL riscritta con hostname: indirizzamento indiretto dell edge server Nella successiva fase di risoluzione del nuovo hostname, il DNS server della CDN seleziona l edge server migliore Valeria Cardellini - SDCC 2013/14 29 Routing mediante URL rewriting edge server Client edge server edge server edge server edge server edge server edge server Pagina HTML (URL) edge server Origin server Pagina HTML Valeria Cardellini - SDCC 2013/14 30

16 Mapping del sistema Web sulla CDN Livelli logici di un sistema Web Front-end layer Application layer Back-end layer User profile layer: memorizza informazioni sulle preferenze dell utente e sul contesto Replicazione di front-end layer Edge server Replicazione di application layer Edge computing Replicazione di back-end layer Per la generazione del contenuto dinamico Replicazione di user profile layer Per la generazione del contenuto personalizzato Valeria Cardellini - SDCC 2013/14 31 Replicazione di front-end layer Per migliorare le prestazioni e la scalabilità del delivery di contenuto statico Si usa il fragment-based caching Alcune soluzioni Edge Side Includes (ESI) IBM WebSphere Edge Server Principale svantaggio Scarsamente applicabile per contenuti veramente dinamici e personalizzati Valeria Cardellini - SDCC 2013/14 32

17 Replicazione di application layer Per migliorare il delivery di contenuto dinamico Codice applicativo per la generazione del contenuto dinamico replicato sugli edge server: edge computing ovvero computazione spinta verso i bordi Tuttavia, gli edge server condividono ancora un back-end layer centralizzato sull origin server Esempi Akamai EdgeComputing (applicazioni Java EE) Vantaggi Deployment automatico Gestione di flash crowd Provisioning dinamico Svantaggi Dati centralizzati sull origin server Ritardi WAN per accedere ai dati e collo di bottiglia delle prestazioni Valeria Cardellini - SDCC 2013/14 33 Replicazione di back-end layer Per migliorare il bottleneck di scalabilità rappresentato dal back-end layer varie soluzioni: 1) Content blind caching Ogni edge server memorizza i risultati di query al DB centralizzato Uso di sofisticati engine di query matching per rispondere ad una nuova query usando i risultati di query già presenti sull edge server 2) Content aware caching Ogni edge server ha il proprio DB, che contiene una vista parziale del DB centralizzato Problemi di consistenza Esempi: GlobeDB, IBM DB2 3) Replicazione completa del DB Copie identiche del DB in molteplici locazioni Problematico gestire la consistenza Valeria Cardellini - SDCC 2013/14 34

18 Content peering Cooperazione tra più CDN per migliorare scalabilità, tolleranza ai guasti e prestazioni Routing tra CDN effettuato a livello di DNS Il server DNS (potenziato) deve essere in grado di fornire l indirizzo di una CDN che serve una regione geografica L intera CDN agisce come un edge server, recuperando il contenuto e tariffando il costo dell operazione alla CDN richiedente User 1 ` Cricinfo s Origin Server (2) Origin server forwards requests to Akamai Selected embedded objects to be served by CDN provider Web Server Selection Algorithm Akamai User 2 ` User N ` (1) User requests (4) Users are served from Mirror Image s edge servers in a transparent manner Mirror Image s POP Mirror Image Forward request (3) Akamai partners with Mirror Image, who has POP in Trinidad and Tobago Replica servers in St. Lucia CDN Peering Valeria Cardellini - SDCC 2013/14 35 Diffusione delle CDN Numerose CND commerciali: Alcune CDN accademiche: Caratterizzate dall uso di soluzioni P2P Generalmente limitate al delivery di contenuti statici Globule, CoDeeN CoralCDN: free e open, alcuni milioni di richieste al giorno Valeria Cardellini - SDCC 2013/14 36

19 Akamai Akamai è l azienda leader Delivery del 15-30% del traffico Web (picco di 3,45 Tbps nel 2010) Akamai Intelligent Platform composta da più di edge server localizzati in oltre 75 paesi e 1900 AS Un solo network hop dal 90% degli utenti di Internet (network hop = AS hop) Alcuni clienti di Akamai: Adobe, Apple, BBC iplayer, Fox News, Microsoft, Netflix, Yahoo! Fondata nel 1998 da docenti e studenti del MIT Possiede diversi domini usati per il content delivery, tra cui: akamai.net, edgesuite.net Valeria Cardellini - SDCC 2013/14 37 Partial content delivery in Akamai L origin server dell application/content provider che delega il servizio di parte delle proprie risorse ad Akamai deve rinominare gli URL ad esse relative usando un prefisso specifico Il prefisso include un hostname, ad es. a799.g.akamai.net La risoluzione dell hostname nell indirizzo IP di un edge server di Akamai è gestita dall infrastruttura di name server del DNS autoritativo di Akamai Come viene scelto l edge server? Vicino al DNS server locale del client e non sovraccarico Edge server: non un singolo server fisico, ma un Web cluster Algoritmo di selezione dell edge server: combina informazioni su topologia di rete (Border Gateway Protocol, BGP), prossimità (numero di hop o round trip time) e carico degli edge server Problema per la prossimità: DNS server locale non sempre vicino al client Valeria Cardellini - SDCC 2013/14 38

20 Partial content delivery in Akamai (2) Esempio: Il client richiede all origin server la pagina Web che contiene image.gif come risorsa embedded L origin server fornisce in risposta la risorsa (X)HTML, in cui l URL è stata riscritta come a799.g.akamai.net/3/799/388/9fd0a26b9d5686/ image.gif Il prefisso a799.g.akamai.net individua un edge server gestito da Akamai Tramite DNS, il client risolve a799.g.akamai.net in un indirizzo IP, ad esempio (distante solo 5 hop dal client, anziché più di 17 come l origin server) Il client invia la richiesta HTTP per image.gif all edge server Valeria Cardellini - SDCC 2013/14 39 Partial content delivery in Akamai (3) Esempio (continua): Se l edge server possiede una copia consistente della risorsa image.gif, la invia al client Nell URL riscritta vi è un identificatore univoco di versione che viene modificato dall origin server ogni volta che la risorsa cambia Quindi: pull dell aggiornamento Altrimenti, l edge server richiede la risorsa tramite un protocollo interno ad un altro edge server di Akamai oppure all origin server e la memorizza nella propria cache Un altro client appartenente ad una rete diversa che richiede la stessa pagina avrà un URL uguale per l immagine a799.g.akamai.net/3/799/388/9fd0a26b9d5686/ image.gif ma l indirizzo IP dell edge server scelto potrebbe essere diverso Valeria Cardellini - SDCC 2013/14 40

21 Infrastruttura DNS di Akamai Akamai utilizza una gerarchia di name server (doppio livello) per risolvere l hostname nell indirizzo IP di un edge server Esempio (dopo la prima risoluzione del DNS) 6 1 Content provider s origin server Akamai high-level DNS server (long TTLs) Akamai edge server Client Local DNS server 4 Akamai low-level DNS server (very short TTLs) Valeria Cardellini - SDCC 2013/14 41 Akamai s DNS black magic Top-Level Domain DNS Server PCWorld Authoritative DNS Server Root DNS Server Akamai High-Level DNS Server CNAME: a1694.g.akamai.net images.pcworld.com a1694.g.akamai.net Akamai Low-Level a1694.g.akamai.net DNS Server 2 ip addresses of Local DNS Server Akamai Edge Servers images.pcworld.com 2 ip addresses of Akamai Edge Servers PCWorld Web Server http request/response Web Client fetch image files Akamai Edge Server Source: Drafting Behind Akamai (Travelocity-Based Detouring) From 2009 PCWorld does not use Akamai but a different CDN Valeria Cardellini - SDCC 2013/14 42

22 Esempio: FOX Sports msn.foxsports.com gestito con full content delivery da Akamai Come scoprirlo? Risolvendo msn.foxsports.com con dig [~]$ dig msn.foxsports.com... ;; ANSWER SECTION: msn.foxsports.com. 300 IN CNAME IN CNAME a1837.g.akamai.net. a1837.g.akamai.net. 20 IN A a1837.g.akamai.net. 20 IN A TTL=20 sec Akamai edge server Valeria Cardellini - SDCC 2013/14 43 Esempio: FOX Sports (2) Dove sono localizzati gli edge server con indirizzo IP e ? Usando traceroute, si scopre che sono distanti 8 hop dalla macchina usata come client Usando un servizio di geolocalizzazione di indirizzi IP, si scopre che sono entrambi in Italia Usando un client in un altro ISP (oppure risolvendo il nome in un altro momento) è possibile ottenere un risultato diverso, ad es. dalla East Coast, USA foxsports.msn.com. 691 IN CNAME IN CNAME a1837.g.akamai.net. a1837.g.akamai.net. 20 IN A a1837.g.akamai.net. 20 IN A Valeria Cardellini - SDCC 2013/14 44

23 Amazon CloudFront CDN offered by Amazon Web Services (AWS) Integrated with other AWS, like S3 and EC2 Pay-per-use pricing Can deliver static, dynamic and streaming content Caches content on a global network of edge locations, located near end users in Asia, Europe, and USA Each object served by the CloudFront service can be accessed via its own URL, e.g., Uses DNS-based redirection Resolve the hostname d1smfj0g31qzek.cloudfront.net with the dig tool Valeria Cardellini - SDCC 2013/14 45 YouTube Valeria Cardellini - SDCC 2013/14 The most popular video download system on Internet More than 1 billion of unique users a month 100 hours of video uploaded every minute Acquired by Google in 2006 YouTube CDN has changed after the acquisition: before that Akamai was used to replicate content in multiple places Now Google s infrastructure dig IN CNAME youtube-ui.l.google.com. youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A

24 YouTube basics Source: R. Torres, A. Finamore, et al., Dissecting video server selection strategies in the YouTube CDN, Proc. IEEE ICDCS Valeria Cardellini - SDCC 2013/14 47 YouTube basics (2) How user requests are mapped to YouTube data centers? There are two mechanisms: 1. DNS redirection which returns the IP address of frontend server in a data center Until the actual video Web page is accessed, mostly static information and small thumbnails are presented (also with the support of a Web content server) 2. DNS redirection plus application-layer mechanisms in which the front-end server initially contacted redirects the client to a video server in a possibly different data center Once the actual video has been selected, the front-end server replies with a HTML page in which the video is embedded using an Adobe Flash player plugin The video server hostname is mapped to an IP address through DNS Valeria Cardellini - SDCC 2013/14 48

25 Request to the video server To find out how the request to the video server takes place, use Firebug for Firefox to inspect the HTTP headers (Net panel) A Javascript function triggers a generate204 request sent to the video server This starts the video prefetch: the client performs the DNS resolution of the video server hostname and opens a TCP connection to the video server The video server replies with a 204 No Content response (no video content downloaded so far) Then the browser handles the control to the Flash player which will manage the actual video download Valeria Cardellini - SDCC 2013/14 49 Which video server is selected? Most YouTube requests are directed to a preferred data center on the basis of RTT between users and data centers In at least 10% of cases, videos are served from nonpreferred data centers for a variety of causes load balancing variations across DNS servers within a network alleviation of load hot spots due to popular video content availability of unpopular video content in a given data center Source: R. Torres, A. Finamore, et al., Dissecting video server selection strategies in the YouTube CDN, Proc. IEEE ICDCS Valeria Cardellini - SDCC 2013/14 50

26 Sharding of Web resources To shard a Web page s resources across multiple domains (such as img1.facebook, img2.facebook, img3.facebook, and img4.facebook) Why? To subvert browser policy and obtain greater concurrency of TCP connections A common practice among large Web properties (such as Facebook, Google, Twitter and YouTube) E.g., see YouTube home page with FireBug Valeria Cardellini - SDCC 2013/14 51 Netflix Leading provider of on-demand Internet video streaming in USA and Canada Single largest source of Internet traffic in USA: in % of peak downstream traffic Hybrid solution for a large scale video platform with high availability and scalability V.K. Adhikari et al., "Unreeling netflix: Understanding and improving multi-cdn movie delivery", Proc. IEEE INFOCOM Valeria Cardellini - SDCC 2013/14 52

27 Netflix (2) Netflix video streaming platform consists of: Netflix data centers Used to: 1) Registration of new users and 2) user redirection to movies.netflix.com or signup.netflix.com Amazon cloud Netflix uses various AWS services, ranging from EC2 and S3, to SimpleDB and VPC Key functions, such as content ingestion, log recording/analysis, DRM, CDN routing, user sign-in, and mobile device support Multiple CDNs To deliver the video content to end users: encoded and DRM protected videos are sourced in Amazon cloud and copied to CDNs Netflix employs three CDNs: Akamai, LimeLight, and Level-3 Valeria Cardellini - SDCC 2013/14 53