Geo-distributed systems for third-party content delivery

Transcript

1 Università degli Studi di Roma Tor Vergata Dipartimento di Ingegneria Civile e Ingegneria Informatica Geo-distributed systems for third-party content delivery Corso di Sistemi Distribuiti e Cloud Computing A.A. 2018/19 Valeria Cardellini Colli di bottiglia nel content delivery In un contesto Internet caratterizzato da: - gestione autonoma - standard da rispettare - funzionamento best effort backbone Client Autonomous System Last mile backbone backbone (>10Gbps) Peering point Potenziali colli di bottiglia First mile collegamento tra content provider ed Internet Peering point interconnessione tra diversi Autonomous System (AS) Backbone Last mile collegamento del client al proprio ISP First mile Application provider Valeria Cardellini - SDCC 2018/19 2

2 Problemi del content delivery Traffico Internet distribuito tra Autonomous System (AS) AS: gruppo di router e reti sotto il controllo di una singola autorità amministrativa AS nel mondo: AT&T, Amazon, Cogent, Deutsche Telekom AG, Hewlett-Packard, Level 3, AS in Italia: Consorzio GARR, Fastweb, Telecom Italia, Tiscali, Vodafone Italia, Wind Osservazioni Nessun AS gestisce più del 5% del traffico totale Gran parte degli AS gestisce molto meno dell 1% del traffico Valeria Cardellini - SDCC 2018/19 3 Soluzione: edge delivery Soluzione per il content delivery: distribuire in molti (quasi tutti i principali) AS, replicando i contenuti su nodi posti possibilmente ai bordi (edge) della rete (e quindi vicini ai client) Valeria Cardellini - SDCC 2018/19 4

3 Entità coinvolte nel content caching e delivery Content consumer Effettuato da: browser e app sul dispositivo utente Effettuato da: proxy (gestito da istituzione o ISP) per conto di un gruppo di utenti Content provider Effettuato da: reverse proxy o acceleratori HTTP (e.g., usando memcached o Varnish) Obiettivo: ridurre il carico sull infrastruttura lato Terze parti Integrato lato content consumer: sistemi di proxy cooperativi Gestito da istituzioni o ISP Effettuato da proxy Integrato lato content provider: Content Delivery Network (CDN) Gestito da società specializzate Effettuato da edge Valeria Cardellini - SDCC 2018/19 5 Alcuni problemi Problemi noti Dove posizionare i? Dove propagare? Che cosa propagare e con quale meccanismo? Soluzioni già esaminate (vedi Consistenza e replicazione nei SD) Focus su routing delle richieste Valeria Cardellini - SDCC 2018/19 6

4 Application/content delivery Application/content delivery: strategia per distribuire applicazioni/contenuti mediante Internet secondo la modalità pay-per-delivery Application/content = materiale digitale per cui qualcuno (utente, ISP, application/content provider, ) è disposto a pagare Esempi: risorse Web, video-on-demand, musica pay-perdownload, distribuzione software, software pay-per-use Content Delivery Network (CDN) A partire dal 1999 numerose società: Akamai, CacheFly, Cloudflare, KeyCDN, Level 3, Anche come servizio Cloud: AWS CloudFront, Google Cloud CDN, Nelle CDN di grandi dimensioni, distribuiti in molti AS Valeria Cardellini - SDCC 2018/19 7 Content Delivery Network Formata da una overlay network di edge (detti anche surrogate ) cooperativi Edge distribuiti su una vasta area geografica per permettere la consegna dei contenuti da locazioni più vicine all utente (edge = bordi della rete) Content outsourcing: il content provider delega alla CDN il servizio della propria contenuto (forniti dagli origin ) Gli edge forniscono soltanto applicazioni/contenuti gestiti dalla CDN - La CDN definisce un SLA con i suoi customer, impegnandosi a soddisfare determinati livelli di servizio Origin - Insieme di gestiti dal content provider Valeria Cardellini - SDCC 2018/19 8

5 Architettura di una CDN Content update (static, dynamic, volatile, multimedia, live streaming content) Origin s Interior cache s Edge s Valeria Cardellini - SDCC 2018/19 9 Perché CDN e non Web multi-cluster? I Web cluster possono essere lontani dagli utenti e fallire a causa di congestioni di rete L application/content provider deve possedere l infrastruttura di servizio (o affittarla da un data center o Cloud provider) Le CDN possono avere una migliore reattività a picchi di traffico improvvisi ed inattesi (flash crowd) Perché usare CDN? Un pattern di accesso normale e tre corrispondenti a flash crowd La scelta dipende anche dalla durata del servizio e dal tipo di applicazione - Il motore di ricerca di Google non usa una CDN! Valeria Cardellini - SDCC 2018/19 10

6 Contenuti serviti da CDN Contenuti non streaming - Contenuti statici, in particolare immagini - Contenuti volatili, dinamici (in modo parziale) - Contenuti con autenticazione - Contenuti sicuri Contents/ services E-docs Web Pages Music (MP3) / Audio CDN Clients Cell Phone Smart phone PDA Laptop Contenuti streaming on-demand Streaming media Contenuto digitalizzato e memorizzato come media file su media (video-on-demand, clip musicali) Desktop Contenuti streaming live Contenuto distribuito quasi istantaneamente come media file (eventi sportivi e musicali) Valeria Cardellini - SDCC 2018/19 11 Componenti dell architettura di una CDN Componente di content delivery Origin ed un vasto insieme di edge per replicare il contenuto Componente di request routing Indirizza le richieste degli utenti verso gli edge Interagisce con il componente di distribuzione per mantenere una vista aggiornata del contenuto Componente di distribuzione del contenuto Replica il contenuto dall origin agli edge e mantiene la consistenza Componente di accounting Mantiene i log degli accessi degli utenti e registra l uso degli edge Coadiuva l analisi del traffico e la tariffazione in base all uso Valeria Cardellini - SDCC 2018/19 12

7 Gestione della consistenza Come garantire che le copie dei contenuti sugli edge siano consistenti con quella sull origin? Soluzioni (già esaminate) per gestire la consistenza in modo guidato dall origin, tutte basate su approccio push: Aggiornamento periodico Propagazione dell aggiornamento Aggiornamento on-demand Invalidazione Possibile anche approccio pull Vedi soluzione di Akamai per partial content delivery Valeria Cardellini - SDCC 2018/19 13 Request routing Quali meccanismi di routing per ridirigere le richieste verso un edge? Meccanismi più usati: Redirezione DNS IP anycast (usato ad es. da CloudFlare, KeyCDN e CacheFly) Altri meccanismi Redirezione mediante protocollo HTTP/RTSP URL rewriting: riscrittura dell hostname nell URL con altro hostname IP tunneling Valeria Cardellini - SDCC 2018/19 14

8 Redirezione DNS Il DNS autoritativo del sito Web delega la risoluzione dell hostname ad un DNS autoritativo gestito dalla CDN Nell effettuare il mapping da hostname ad indirizzo IP, il DNS della CDN sceglie un edge (come in Web multi-cluster) Valore molto basso del TTL assegnato al resource record di tipo A Esempio: $ dig ;; ANSWER SECTION: IN CNAME IN CNAME IN CNAME e15316.ci.akamaiedge.net. e15316.ci.akamaiedge.net. 20 IN A Valeria Cardellini - SDCC 2018/19 15 Routing through DNS redirection Source: Algorithmic Nuggets in Content Delivery, SIGCOMM 15 Valeria Cardellini - SDCC 2018/19 16

9 Redirezione DNS (2) Osservazioni Limitando il caching nei name locali e intermedi, il DNS della CDN aumenta il controllo sul mapping tra hostname e indirizzo IP Per evitare che il DNS autoritativo della CDN sia il collo di bottiglia, la CDN deve possedere un infrastruttura DNS scalabile (es. Akamai) Ci sono comunque DNS (locali e intermedi) non cooperativi (circa 17%), che violano il TTL stabilito dal DNS della CDN e continuano ad usare il mapping in cache sebbene scaduto Valeria Cardellini - SDCC 2018/19 17 Redirezione DNS: tipologie di CDN Due tipologie di CDN che usano la redirezione DNS: Full-content delivery (o first hit at CDN) L origin è nascosto a tutti, eccetto che alla CDN Il DNS autoritativo dell origin è modificato in modo da delegare le richieste di risoluzione al DNS autoritativo della CDN (DNS outsourcing): resource record di tipo CNAME Tutte le richieste di risorse arrivano agli edge Partial-content delivery (o first hit at origin) L origin modifica nella pagina (X)HTML l URL delle risorse incluse nella pagina (immagini, video, audio, ) applicando l URL rewriting Esempio: viene modificato in cdn-foo.net/ L hostname nell URL modificato è risolto in un indirizzo IP dal DNS autoritativo della CDN Valeria Cardellini - SDCC 2018/19 18

10 Partial-content delivery: URL rewriting L origin riscrive dinamicamente le URL di (alcune) risorse embedded nella pagina (X)HTML in modo da ridirigere le relative richieste verso gli edge della CDN L edge più vicino, con carico minimo, una combinazione di entrambe le metriche, URL riscritta con hostname: indirizzamento indiretto dell edge Nella successiva fase di risoluzione del nuovo hostname, il DNS autoritativo della CDN seleziona l edge Valeria Cardellini - SDCC 2018/19 19 Routing through URL rewriting edge Client edge edge edge edge edge edge HTML page (URL) DNS resolution is not shown edge Origin HTML page Valeria Cardellini - SDCC 2018/19 20

11 Diffusione delle CDN Numerose CND commerciali: Alcune CDN accademiche: Caratterizzate dall uso di soluzioni P2P Generalmente limitate al delivery di contenuti statici Globule, CoDeeN CoralCDN: free e open, alcuni milioni di richieste al giorno Valeria Cardellini - SDCC 2018/19 21 Akamai Azienda leader nel settore CDN Fondata nel 1998 da docenti e studenti del MIT Delivery del 15-30% del traffico Web (più di 30 Tbps) See Akamai Facts & Figures Akamai Intelligent Platform composta da oltre edge localizzati in oltre 130 paesi e 1700 AS Un solo network hop dall 85% degli utenti di Internet (network hop = AS hop) Alcuni clienti di Akamai: Adobe, Apple, Fox Sports, Microsoft, NASA.gov, Sky, Salesforce When Akamai goes down, it takes the Internet with it Possiede numerosi domini usati per il content delivery akamai.net, akamaiedge.net, akadns.net, edgekey.net Usa la redirezione DNS, sia per full-content delivery sia per partial-content delivery Valeria Cardellini - SDCC 2018/19 22

12 Akamai: redirezione DNS Nel caso di full-content e partial-content delivery Il prefisso include un hostname, ad es. a799.g.akamai.net Il prefisso a799 identifica il customer di Akamai La risoluzione dell hostname nell indirizzo IP di un edge di Akamai è gestita dall infrastruttura di name che compongono il DNS autoritativo di Akamai Come viene scelto l edge? Vicino al client e non sovraccarico Obiettivo: prestazioni e disponibilità Edge : non singolo fisico, ma cluster di Algoritmo di selezione dell edge : combina informazioni su topologia di rete (tramite BGP), prossimità (numero di hop o round trip time) e carico degli edge Vecchio problema per la prossimità (DNS locale non sempre in prossimità del client): risolto (parzialmente) con estensione del DNS (EDNS-Client-Subnet (ECS)) See: Algorithmic Nuggets in Content Delivery, SIGCOMM 15 Valeria Cardellini - SDCC 2018/19 23 Akamai: partial content delivery L origin dell application/content provider che delega il servizio di parte delle proprie risorse ad Akamai deve rinominare gli URL ad esse relative usando un prefisso specifico (es. a799.g.akamai.net) Esempio: Il client richiede all origin la pagina Web che contiene image.gif come risorsa embedded L origin fornisce in risposta la risorsa (X)HTML, in cui l URL è stata riscritta come a799.g.akamai.net/3/799/388/9fd0a26b9d5686/ image.gif Il prefisso a799.g.akamai.net individua un edge di Akamai Tramite DNS, il client risolve a799.g.akamai.net in un indirizzo IP, ad esempio (distante solo 5 hop dal client, anziché più di 17 come l origin ) Il client invia la richiesta HTTP per image.gif all edge Valeria Cardellini - SDCC 2018/19 24

13 Akamai: partial content delivery (2) Esempio (continua): Se l edge possiede una copia aggiornata della risorsa image.gif, la invia al client Nell URL riscritta vi è un identificatore univoco di versione che viene modificato dall origin quando la risorsa cambia Quindi: pull dell aggiornamento Altrimenti, l edge richiede la risorsa tramite un protocollo interno ad un altro edge di Akamai oppure all origin e la memorizza Un altro client appartenente ad una rete diversa che richiede la stessa pagina avrà un URL uguale per l immagine a799.g.akamai.net/3/799/388/9fd0a26b9d5686/ image.gif ma l indirizzo IP dell edge scelto dal DNS di Akamai potrebbe essere diverso Valeria Cardellini - SDCC 2018/19 25 Akamai: infrastruttura DNS Akamai utilizza una gerarchia di DNS (almeno due livelli) per risolvere l hostname nell indirizzo IP di un edge Esempio di full-content delivery Content provider s DNS 2 3 Akamai high-level DNS (long TTLs) Akamai edge 5 Client 1 4 Akamai low-level DNS (very short TTLs) Local DNS Valeria Cardellini - SDCC 2018/19 26

14 Akamai s DNS black magic Top-Level Domain DNS Server PCWorld Authoritative DNS Server Root DNS Server Akamai High-Level DNS Server CNAME: a1694.g.akamai.net images.pcworld.com a1694.g.akamai.net Akamai Low-Level a1694.g.akamai.net DNS Server 2 ip addresses of Local DNS Server Akamai Edge Servers images.pcworld.com 2 ip addresses of Akamai Edge Servers PCWorld Web Server http request/response Web Client fetch image files Akamai Edge Server Source: Drafting Behind Akamai (Travelocity-Based Detouring) From 2009 PCWorld does not use Akamai but a different CDN Valeria Cardellini - SDCC 2018/19 27 Akamai: esempio gestito da Akamai Come scoprirlo? Risolvendo con dig Osserva i molteplici livelli del DNS di Akamai (resource record di tipo CNAME) $ dig ;; ANSWER SECTION: IN CNAME IN CNAME Akamai edge IN CNAME e6858.dsce9.akamaiedge.net. e6858.dsce9.akamaiedge.net. 20 IN A TTL=20 sec Valeria Cardellini - SDCC 2018/19 28

15 Akamai: consistent hashing Akamai uses consistent hashing to balance the load within a single cluster of edge s Consistent hashing first maps both objects and buckets (s) to the unit circle An object is then mapped to the next that appears on the circle in clockwise order Valeria Cardellini - SDCC 2018/19 29 Sharding of Web resources A common technique for splitting Web page s resources across multiple domains (including those served by CDN) Why? To subvert browser policy and obtain greater concurrency of TCP connections A common practice among large Web sites (e.g., Facebook, Google, Twitter and YouTube) See Facebook: static.xx.fbcdn.net domain for static content See YouTube home page: i.ytimg.com hostname for image files Valeria Cardellini - SDCC 2018/19 30

16 Amazon CloudFront CDN offered by Amazon Web Services (AWS) Integrated with other AWS, like S3 and EC2 Pay-per-use pricing Can deliver static, dynamic and streaming content Caches content on a global network of edge locations, located near end users in Asia, Europe, and USA Each object served by the CloudFront service can be accessed via its own URL, e.g., Uses DNS-based redirection Resolve the hostname d1smfj0g31qzek.cloudfront.net using dig Valeria Cardellini - SDCC 2018/19 31 YouTube The most popular video download system on Internet More than 1 billion of unique users a month 100 hours of video uploaded every minute Created in 2005, acquired by Google in late 2007 YouTube CDN has changed after the acquisition: before that Akamai was used to replicate content in multiple places Google relies on its own massive CDN formed by Google Global Cache nodes to push YouTube videos as close as possible to the users, both to improve their watching experience as as well as to reduce the load on the core of the network Hundreds of edge nodes scattered in the Internet Each edge node hosts hundreds of video s: once a user starts a video playback, YouTube request distribution algorithm directs the request to one of the video s Valeria Cardellini - SDCC 2018/19 32

17 YouTube basics Source: R. Torres, A. Finamore, et al., Dissecting video selection strategies in the YouTube CDN, ICDCS 11 Valeria Cardellini - SDCC 2018/19 33 YouTube basics: redirection mechanisms How user requests are mapped to YouTube? There are two mechanisms: 1. DNS redirection returns the IP address of a front-end (FE) in a cluster Until the actual video Web page is accessed, mostly static information and small thumbnails are presented (also with the support of a Web content ) 2. DNS redirection plus application-layer mechanisms in which the FE redirects the client to a video in a possibly different cluster Once the actual video has been selected, the FE replies with a HTML page in which the video is embedded The video hostname is mapped to an IP address through DNS Differently from previous slide, video addresses are now in the form r3---sn-b5gg-ca9e.googlevideo.com Valeria Cardellini - SDCC 2018/19 34

18 YouTube basics: DNS redirection First level of request distribution: DNS redirection DNS resolution from Rome dig ;; ANSWER SECTION:! youtube-ui.l.google.com. 300!IN!A! ! youtube-ui.l.google.com. 300!IN!A! ! youtube-ui.l.google.com. 300!IN!A! ! youtube-ui.l.google.com. 300!IN!A! ! youtube-ui.l.google.com. 300!IN!A! ! youtube-ui.l.google.com. 300!IN!A! ! youtube-ui.l.google.com. 300!IN!A! ! Valeria Cardellini - SDCC 2018/19 35 YouTube basics: redirection to video To find out how the request to the video takes place, use developer options in your Web browser E.g., A Javascript function triggers a generate204 request sent to the video This starts the video prefetch: the client performs the DNS resolution of the video hostname and opens a TCP connection to the video The video replies with a 204 No Content response (no video content downloaded so far) Then the browser handles the control to the video player which will manage the actual video download Valeria Cardellini - SDCC 2018/19 36

19 Which video is selected? Most YouTube requests are directed to a preferred edge nodes on the basis of RTT between users and edge nodes In at least 10% of cases, videos are served from nonpreferred edge nodes for a variety of causes load balancing variations across DNS s within a network alleviation of load hot spots due to popular video content availability of unpopular video content in a given data center The dynamic selection strategies applied for YouTube can have negative effects on the end-user quality of experience (QoE) When YouTube Does not Work Analysis of QoE-Relevant Degradation in Google CDN Traffic Valeria Cardellini - SDCC 2018/19 37 Netflix Leading provider of on-demand Internet video streaming Single largest source of Internet traffic in North America Content with highly non-uniform access patterns (50% of data traffic from only 25 files): good for caching Hybrid solution for a large scale video platform with high availability and scalability V.K. Adhikari et al., "Unreeling netflix: Understanding and improving multi-cdn movie delivery", Proc. INFOCOM 2012 Valeria Cardellini - SDCC 2018/19 38

20 Netflix (2) Netflix video streaming platform consists of: Netflix data centers Used to: 1) Register new users and 2) redirect users to movies.netflix.com or signup.netflix.com Amazon cloud Netflix uses various AWS services, ranging from EC2 for transcoding to S3 for storage Key functions, such as content ingestion, log recording/analysis, DRM, CDN routing, user sign-in, and mobile device support Multiple CDNs (still in 2015, now?) To deliver the video content to end users: encoded and DRM protected videos are sourced in S3 and copied to CDNs Netflix employs multiple CDNs: Akamai, LimeLight, and Level-3 Open-source software at the backend, including MySQL, Gluster, Hive, Cassandra, and Hadoop Valeria Cardellini - SDCC 2018/19 39 Dropbox: architecture The beginning (2007) First evolution (2008) 50K users Move data to AWS S3 Use MySQL DB Split Valeria Cardellini - SDCC 2018/19 40

21 Dropbox: architecture (2) Second evolution (late 2008) Use Memcached Replicate s Use load balancer Third evolution (2012) 50M users Use several DBs Use multiple load balancers Valeria Cardellini - SDCC 2018/19 41 Dropbox architecture and security Valeria Cardellini - SDCC 2018/19 42