Sistemi Web geografici per content delivery

Transcript

1 Università degli Studi di Roma Tor Vergata Dipartimento di Ingegneria Civile e Ingegneria Informatica Sistemi Web geografici per content delivery Corso di Sistemi Distribuiti e Cloud Computing A.A. 2014/15 Valeria Cardellini Colli di bottiglia nell application/content delivery In un contesto Internet: di gestioni autonome standard da rispettare funzionamento best effort backbone Client Autonomous System Last mile backbone backbone (>10Gbps) Peering point First mile Potenziali problemi di rete First mile: collegamento tra l application provider ed Internet Peering point punto di connessione tra diversi Autonomous System (AS) Backbone Last mile collegamento del client al proprio ISP Application provider Valeria Cardellini - SDCC 2014/15 2

2 Problemi del network delivery Il traffico Internet si distribuisce tra Autonomous System (AS) (dati di fine 2012) AS: gruppo di router e reti sotto il controllo di una singola e ben definita autorità amministrativa Alcuni AS nel mondo: AT&T, BBN Planet, Sprint, Alcuni AS in Italia: Fastweb, Tele2, Telecom Italia, Wind- Infostrada Nessun AS gestisce più del 5% del traffico totale La stragrande maggioranza degli AS gestisce molto meno dell 1% del traffico Soluzione per il network delivery: distribuire i in molti (quasi tutti i principali) AS Quali? Valeria Cardellini - SDCC 2014/15 3 Quali? Non è possibile distribuire Web cluster in (quasi) tutti gli AS: troppo costoso per il singolo provider! Occorre distinguere tra nodi primari e secondari Nodo = o cluster di Tipicamente la replicazione dei nodi primari si limita a qualche unità Perché? Per non limitare la scalabilità dell infrastruttura lato a causa dei problemi di aggiornamento dell applicazione e mantenimento della consistenza Il numero ottimale dipende dalla volatilità dell informazione, ma in genere oltre 10 primari, i costi per gestire e garantire la consistenza dei dati replicati superano i vantaggi ottenibili dalla replica dei. [Jim Gray] Soluzione: replicare parzialmente contenuti/applicazioni tra nodi secondari, possibilmente vicini ai client Nodi secondari: cache, proxy, edge Valeria Cardellini - SDCC 2014/15 4

3 Chi effettua application/content caching e delivery Application/content consumer Effettuato da: browser su disco del dispositivo utente Effettuato da: proxy (gestito da istituzione o ISP) per conto di un gruppo di utenti Application/content provider Effettuato dai reverse proxy (ad es. Memcached) Obiettivo: ridurre il carico sull infrastruttura lato Terze parti Integrati lato content consumer: sistemi di proxy cooperativi gestiti da istituzioni o ISP Integrati lato content provider: Content Delivery Network (CDN) gestiti da società specializzate edge : nodi della CDN per la distribuzione e consegna di contenuti e applicazioni Web Valeria Cardellini - SDCC 2014/15 5 Quali problemi? Dove posizionare i secondari? Dove propagare? Che cosa propagare e con quale meccanismo? Soluzioni già esaminate (vedi Consistenza e replicazione nei SD) Valeria Cardellini - SDCC 2014/15 6

4 Application/content delivery Application/content delivery: strategia per distribuire applicazioni/contenuti mediante Internet secondo la modalità pay-per-delivery Application/content = materiale digitale per cui qualcuno (utente, ISP, application/content provider, ) è disposto a pagare Esempi: risorse Web, video-on-demand, musica pay-perdownload, distribuzione software, software pay-per-use Content Delivery Network (CDN) A partire dal 1999 diverse società specializzate: il content delivery genera profitti Anche come servizio Cloud (ad es. CloudFront di Amazon) Nelle CDN di grandi dimensioni, i nodi secondari sono distribuiti in molti (quasi tutti) gli AS Dimensioni impressionanti dell infrastruttura della CDN (ad es. Akamai) Valeria Cardellini - SDCC 2014/15 7 Content Delivery Network Formata da un infrastruttura di (detti edge, content, surrogate o delivery ) cooperativi Edge distribuiti su una vasta area geografica per permettere la fornitura dei contenuti da locazioni più vicine all utente (edge = bordi della rete) L application/content provider delega il servizio della propria applicazione/contenuto (fornito dall origin ) ad una società che gestisce una CDN (content outsourcing) Gli edge forniscono soltanto le applicazione/contenuti gestiti dalla CDN Una CDN commerciale stabilisce con i suoi clienti degli accordi sul livello di servizio da soddisfare e si impegna a rispettare tali accordi mediante la definizione di Service Level Agreement (SLA) Valeria Cardellini - SDCC 2014/15 8

5 Architettura di una CDN Aggiornamento del contenuto (statico, dinamico, volatile, multimediale, live streaming) Server Web (origin ) Interior cache Cache (edge ) Valeria Cardellini - SDCC 2014/15 9 Perché usare una CDN? Perché una CDN e non un Web multi-cluster? I Web cluster possono essere lontani dagli utenti e fallire a causa di congestioni di rete L application/content provider deve possedere l infrastruttura di servizio (o affittarla da un data center o IaaS provider) Le CDN possono avere una migliore reattività a picchi di richeste improvvisi ed inattesi (flash crowd) Un pattern di accesso normale e tre corrispondenti a flash crowd La scelta dipende anche dal tipo di applicazione: ad es. Google non usa una CDN! Valeria Cardellini - SDCC 2014/15 10

6 Contenuti serviti da CDN CDN generalmente usata per fornire il delivery di: Contenuti non streaming Contenuto statico, in particolare immagini Contenuto volatile, dinamico (in modo parziale) Contenuto con autenticazione Autenticazione prevista dal protocollo HTTP Contenuto sicuro Protocollo HTTPS Contents/ services E-docs Web Pages Streaming media Music (MP3) / Audio CDN Clients Cell Phone Smart phone / PDA Desktop Laptop Contenuti streaming on-demand Contenuto digitalizzato e memorizzato come media file su media (ad es. video-on-demand, clip musicali) Contenuti streaming live Contenuto distribuito quasi istantaneamente come media file (ad es. eventi sportivi e musicali) Valeria Cardellini - SDCC 2014/15 11 Componenti dell architettura di una CDN Componente di content delivery Origin ed un insieme di edge per replicare il contenuto Componente di request routing Indirizza le richieste degli utenti verso gli edge Interagisce con il componente di distribuzione per mantenere una vista aggiornata del contenuto Componente di distribuzione del contenuto Replica il contenuto dall origin agli edge e mantiene la consistenza Componente di accounting Mantiene i log degli accessi degli utenti e registra l uso degli edge Coadiuva l analisi del traffico e la tariffazione in base all uso Valeria Cardellini - SDCC 2014/15 12

7 Gestione della consistenza Come garantire che le copie di ciascuna risorsa sugli edge siano consistenti con la risorsa sull origin? Soluzioni (già esaminate) per gestire la consistenza in modo guidato dall origin (approccio push): Aggiornamento periodico Propagazione dell aggiornamento Aggiornamento on-demand Invalidazione Anche possibile approccio pull Vedi soluzione di Akamai per partial content delivery Valeria Cardellini - SDCC 2014/15 13 Request routing Quale meccanismo di routing con cui ridirigere verso un edge la richiesta effettuata da un client per una risorsa servita dalla CDN? Principali tecniche adottate: uso del Domain Name System: redirezione DNS riscrittura URL con hostname simbolici: URL rewriting riscrittura URL con indirizzo IP: URL-IP rewriting Altre possibilità Redirezione mediante protocollo HTTP/RTSP IP anycast (ad es. CloudFlare), IP tunneling Le CDN usano nomi altisonanti (es. Global Traffic Management) ma in realtà i dispositivi per il routing delle richieste sono DNS autoritativi, arricchiti con funzionalità di controllo sullo stato della rete e degli edge Valeria Cardellini - SDCC 2014/15 14

8 Redirezione DNS Il DNS autoritativo del sito Web delega la risoluzione dell hostname nell URL in un indirizzo IP ad un DNS autoritativo controllato dalla CDN Nell effettuare il mapping da hostname a indirizzo IP, il DNS della CDN sceglie un determinato edge Come nei Web multi-cluster Il valore del TTL assegnato dal DNS della CDN è prossimo a 0 Limitando il caching nei name locali e intermedi, il DNS della CDN aumenta il controllo sul mapping tra hostname e indirizzo IP, facilitando così la condivisione del carico tra gli edge Per evitare che il DNS della CDN sia il collo di bottiglia, la CDN deve possedere un infrastruttura DNS scalabile (es. Akamai) Ci sono comunque DNS non cooperativi (circa 17%), che violano il TTL stabilito dal DNS della CDN Valeria Cardellini - SDCC 2014/15 15 Redirezione DNS (2) Due tipologie di CDN che usano la redirezione DNS: full-content delivery (o first hit at CDN) L origin è nascosto a tutti, eccetto che alla CDN Il DNS autoritativo dell origin è modificato in modo da delegare le richieste di risoluzione al DNS autoritativo della CDN (DNS outsourcing) Tutte le richieste indirizzate all origin arrivano agli edge partial-content delivery (o first hit at origin) L origin modifica nella pagina (X)HTML l URL delle risorse incluse nella pagina (immagini, video, audio, ) applicando la tecnica dell URL rewriting Esempio: viene modificato in cdn-foo.net/ L hostname nell URL modificato è risolto in un indirizzo IP dal DNS autoritativo della CDN Valeria Cardellini - SDCC 2014/15 16

9 URL rewriting L origin riscrive dinamicamente gli URL nella pagina (X)HTML in modo da ridirigere le richieste dei client per le risorse incluse (embedded) verso un edge della CDN L edge più vicino, il meno carico, una combinazione di entrambe le metriche, Due alternative di rewriting URL riscritta con indirizzo IP: indirizzamento diretto dell edge Soluzione meno usata URL riscritta con hostname: indirizzamento indiretto dell edge Nella successiva fase di risoluzione del nuovo hostname, il DNS della CDN seleziona l edge migliore Valeria Cardellini - SDCC 2014/15 17 Routing mediante URL rewriting edge Client edge edge edge edge edge edge Pagina HTML (URL) edge Origin Pagina HTML Valeria Cardellini - SDCC 2014/15 18

10 Mapping del sistema Web sulla CDN Livelli logici di un sistema Web Front-end layer Application layer Back-end layer User profile layer: memorizza informazioni sulle preferenze dell utente e sul contesto Replicazione di front-end layer Edge Replicazione di application layer Edge computing Replicazione di back-end layer Per la generazione del contenuto dinamico Replicazione di user profile layer Per la generazione del contenuto personalizzato Valeria Cardellini - SDCC 2014/15 19 Replicazione di front-end layer Per migliorare le prestazioni e la scalabilità del delivery di contenuto statico Si usa il fragment-based caching Alcune soluzioni Edge Side Includes (ESI) IBM WebSphere Edge Server Principale svantaggio Scarsamente applicabile per contenuti veramente dinamici e personalizzati Valeria Cardellini - SDCC 2014/15 20

11 Replicazione di application layer Per migliorare il delivery di contenuto dinamico Codice applicativo per la generazione del contenuto dinamico replicato sugli edge : edge computing ovvero computazione spinta verso i bordi Tuttavia, gli edge condividono ancora un back-end layer centralizzato sull origin Esempi Akamai EdgeComputing (applicazioni Java EE) Vantaggi Deployment automatico Gestione di flash crowd Provisioning dinamico Svantaggi Dati centralizzati sull origin Ritardi WAN per accedere ai dati e collo di bottiglia delle prestazioni Valeria Cardellini - SDCC 2014/15 21 Replicazione di back-end layer Per migliorare il bottleneck di scalabilità rappresentato dal back-end layer varie soluzioni: 1) Content blind caching Ogni edge memorizza i risultati di query al DB centralizzato Uso di sofisticati engine di query matching per rispondere ad una nuova query usando i risultati di query già presenti sull edge 2) Content aware caching Ogni edge ha il proprio DB, che contiene una vista parziale del DB centralizzato Problemi di consistenza Esempi: GlobeDB, IBM DB2 3) Replicazione completa del DB Copie identiche del DB in molteplici locazioni Problematico gestire la consistenza Valeria Cardellini - SDCC 2014/15 22

12 Content peering Cooperazione tra più CDN per migliorare scalabilità, tolleranza ai guasti e prestazioni Routing tra CDN effettuato a livello di DNS Il DNS (potenziato) deve essere in grado di fornire l indirizzo di una CDN che serve una regione geografica L intera CDN agisce come un edge, recuperando il contenuto e tariffando il costo dell operazione alla CDN richiedente User 1 ` Cricinfo s Origin Server (2) Origin forwards requests to Akamai Selected embedded objects to be served by CDN provider Web Server Selection Algorithm Akamai User 2 ` User N ` (1) User requests (4) Users are served from Mirror Image s edge s in a transparent manner Mirror Image s POP Mirror Image Forward request (3) Akamai partners with Mirror Image, who has POP in Trinidad and Tobago Replica s in St. Lucia CDN Peering Valeria Cardellini - SDCC 2014/15 23 Diffusione delle CDN Numerose CND commerciali: Alcune CDN accademiche: Caratterizzate dall uso di soluzioni P2P Generalmente limitate al delivery di contenuti statici Globule, CoDeeN CoralCDN: free e open, alcuni milioni di richieste al giorno Valeria Cardellini - SDCC 2014/15 24

13 Akamai Akamai è l azienda leader Delivery del 15-30% del traffico Web (picco di 15 Tbps) Akamai Intelligent Platform composta da edge localizzati in oltre 95 paesi e 1200 AS Un solo network hop dall 85% degli utenti di Internet (network hop = AS hop) Alcuni clienti di Akamai: Adobe, Apple, BBC, Fox Sports, IBM, Microsoft, NASA.gov, SAP, Salesforce, Yahoo! When Akamai goes down, it takes the Internet with it Fondata nel 1998 da docenti e studenti del MIT Possiede numerosi domini usati per il content delivery, tra cui: akamai.net, edgesuite.net Valeria Cardellini - SDCC 2014/15 25 Partial content delivery in Akamai L origin dell application/content provider che delega il servizio di parte delle proprie risorse ad Akamai deve rinominare gli URL ad esse relative usando un prefisso specifico Il prefisso include un hostname, ad es. a799.g.akamai.net La risoluzione dell hostname nell indirizzo IP di un edge di Akamai è gestita dall infrastruttura di name del DNS autoritativo di Akamai Come viene scelto l edge? Vicino al DNS locale del client e non sovraccarico Edge : non un singolo fisico, ma un Web cluster Algoritmo di selezione dell edge : combina informazioni su topologia di rete (Border Gateway Protocol, BGP), prossimità (numero di hop o round trip time) e carico degli edge Problema per la prossimità: DNS locale non sempre vicino al client Valeria Cardellini - SDCC 2014/15 26

14 Partial content delivery in Akamai (2) Esempio: Il client richiede all origin la pagina Web che contiene image.gif come risorsa embedded L origin fornisce in risposta la risorsa (X)HTML, in cui l URL è stata riscritta come a799.g.akamai.net/3/799/388/9fd0a26b9d5686/ image.gif Il prefisso a799.g.akamai.net individua un edge gestito da Akamai Tramite DNS, il client risolve a799.g.akamai.net in un indirizzo IP, ad esempio (distante solo 5 hop dal client, anziché più di 17 come l origin ) Il client invia la richiesta HTTP per image.gif all edge Valeria Cardellini - SDCC 2014/15 27 Partial content delivery in Akamai (3) Esempio (continua): Se l edge possiede una copia consistente della risorsa image.gif, la invia al client Nell URL riscritta vi è un identificatore univoco di versione che viene modificato dall origin ogni volta che la risorsa cambia Quindi: pull dell aggiornamento Altrimenti, l edge richiede la risorsa tramite un protocollo interno ad un altro edge di Akamai oppure all origin e la memorizza nella propria cache Un altro client appartenente ad una rete diversa che richiede la stessa pagina avrà un URL uguale per l immagine a799.g.akamai.net/3/799/388/9fd0a26b9d5686/ image.gif ma l indirizzo IP dell edge scelto potrebbe essere diverso Valeria Cardellini - SDCC 2014/15 28

15 Infrastruttura DNS di Akamai Akamai utilizza una gerarchia di name (doppio livello) per risolvere l hostname nell indirizzo IP di un edge Esempio (dopo la prima risoluzione del DNS) 6 1 Content provider s origin Akamai high-level DNS (long TTLs) Akamai edge Client Local DNS 4 Akamai low-level DNS (very short TTLs) Valeria Cardellini - SDCC 2014/15 29 Akamai s DNS black magic Top-Level Domain DNS Server PCWorld Authoritative DNS Server Root DNS Server Akamai High-Level DNS Server CNAME: a1694.g.akamai.net images.pcworld.com a1694.g.akamai.net Akamai Low-Level a1694.g.akamai.net DNS Server 2 ip addresses of Local DNS Server Akamai Edge Servers images.pcworld.com 2 ip addresses of Akamai Edge Servers PCWorld Web Server http request/response Web Client fetch image files Akamai Edge Server Source: Drafting Behind Akamai (Travelocity-Based Detouring) From 2009 PCWorld does not use Akamai but a different CDN Valeria Cardellini - SDCC 2014/15 30

16 Esempio: FOX Sports msn.foxsports.com gestito con full content delivery da Akamai Come scoprirlo? Risolvendo msn.foxsports.com con dig [~]$ dig msn.foxsports.com... ;; ANSWER SECTION: msn.foxsports.com. 300 IN CNAME IN CNAME a1837.g.akamai.net. a1837.g.akamai.net. 20 IN A a1837.g.akamai.net. 20 IN A TTL=20 sec Akamai edge Valeria Cardellini - SDCC 2014/15 31 Esempio: FOX Sports (2) Dove sono localizzati gli edge con indirizzo IP e ? Usando traceroute, si scopre che sono distanti 8 hop dalla macchina usata come client Usando un servizio di geolocalizzazione di indirizzi IP, si scopre che sono entrambi in Italia Usando un client in un altro ISP (oppure risolvendo il nome in un altro momento) è possibile ottenere un risultato diverso, ad es. dalla East Coast, USA foxsports.msn.com. 691 IN CNAME IN CNAME a1837.g.akamai.net. a1837.g.akamai.net. 20 IN A a1837.g.akamai.net. 20 IN A Valeria Cardellini - SDCC 2014/15 32

17 Amazon CloudFront CDN offered by Amazon Web Services (AWS) Integrated with other AWS, like S3 and EC2 Pay-per-use pricing Can deliver static, dynamic and streaming content Caches content on a global network of edge locations, located near end users in Asia, Europe, and USA Each object served by the CloudFront service can be accessed via its own URL, e.g., Uses DNS-based redirection Resolve the hostname d1smfj0g31qzek.cloudfront.net with the dig tool Valeria Cardellini - SDCC 2014/15 33 YouTube Valeria Cardellini - SDCC 2014/15 The most popular video download system on Internet More than 1 billion of unique users a month 100 hours of video uploaded every minute Created in 2005, acquired by Google in late 2007 YouTube CDN has changed after the acquisition: before that Akamai was used to replicate content in multiple places Now Google s infrastructure dig IN CNAME youtube-ui.l.google.com. youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A youtube-ui.l.google.com. 246 IN A

18 YouTube basics Source: R. Torres, A. Finamore, et al., Dissecting video selection strategies in the YouTube CDN, Proc. IEEE ICDCS Valeria Cardellini - SDCC 2014/15 35 YouTube basics (2) How user requests are mapped to YouTube data centers? There are two mechanisms: 1. DNS redirection which returns the IP address of frontend in a data center Until the actual video Web page is accessed, mostly static information and small thumbnails are presented (also with the support of a Web content ) 2. DNS redirection plus application-layer mechanisms in which the front-end initially contacted redirects the client to a video in a possibly different data center Once the actual video has been selected, the front-end replies with a HTML page in which the video is embedded using an Adobe Flash player plugin The video hostname is mapped to an IP address through DNS Valeria Cardellini - SDCC 2014/15 36

19 Request to the video To find out how the request to the video takes place, use Firebug for Firefox to inspect the HTTP headers (Net panel) A Javascript function triggers a generate204 request sent to the video This starts the video prefetch: the client performs the DNS resolution of the video hostname and opens a TCP connection to the video The video replies with a 204 No Content response (no video content downloaded so far) Then the browser handles the control to the Flash player which will manage the actual video download Valeria Cardellini - SDCC 2014/15 37 Which video is selected? Most YouTube requests are directed to a preferred data center on the basis of RTT between users and data centers In at least 10% of cases, videos are served from nonpreferred data centers for a variety of causes load balancing variations across DNS s within a network alleviation of load hot spots due to popular video content availability of unpopular video content in a given data center Source: R. Torres, A. Finamore, et al., Dissecting video selection strategies in the YouTube CDN, Proc. IEEE ICDCS Valeria Cardellini - SDCC 2014/15 38

20 Sharding of Web resources To shard Web page s resources across multiple domains (such as img1.facebook, img2.facebook, img3.facebook, and img4.facebook) Why? To subvert browser policy and obtain greater concurrency of TCP connections A common practice among large Web properties (such as Facebook, Google, Twitter and YouTube) E.g., see YouTube home page with FireBug Valeria Cardellini - SDCC 2014/15 39 Netflix Leading provider of on-demand Internet video streaming in USA and Canada Single largest source of Internet traffic in USA: in % of peak downstream traffic Hybrid solution for a large scale video platform with high availability and scalability V.K. Adhikari et al., "Unreeling netflix: Understanding and improving multi-cdn movie delivery", Proc. IEEE INFOCOM Valeria Cardellini - SDCC 2014/15 40

21 Netflix (2) Netflix video streaming platform consists of: Netflix data centers Used to: 1) Registration of new users and 2) user redirection to movies.netflix.com or signup.netflix.com Amazon cloud Netflix uses various AWS services, ranging from EC2 and S3, to SimpleDB and VPC Key functions, such as content ingestion, log recording/analysis, DRM, CDN routing, user sign-in, and mobile device support Multiple CDNs To deliver the video content to end users: encoded and DRM protected videos are sourced in Amazon cloud and copied to CDNs Netflix employs three CDNs: Akamai, LimeLight, and Level-3 Valeria Cardellini - SDCC 2014/15 41