OpenCDN: una architettura estensibile per la condivisione di contenuti Internet

Transcript

1 Alessandro Falaschi OpenCDN: una architettura estensibile per la condivisione di contenuti Internet (era: OpenCDN: una architettura estensibile per il Live Streaming Internet) Pisa, Maggio 2005 Conferenza GARR_05 "la rete dapertutto"

2 Di che si tratta? Evolve nell'ambito delle Task Force NETCAST e VVC di TERENA, per problemi di configurazione e scalabilità del Live Streaming Internet, come un progetto OpenSource Generalizzabile alla distribuzione di oggetti qualunque, e permette di localizzare il nodo di replica più prossimo al richiedente (es. sourceforge) Una Content Delivery Network estende il concetto di Proxy, realizzando le componenti di Consegna: come replicare i contenuti tra entità Distribuzione: come sviluppare la topologia di consegna Instradamento della richiesta: come deviare un client verso il nodo di replica più opportuno

3 Il problema di scalabilità del Live Streaming nell' architettura Server il primo miglio si satura presto all'aumentare del numero di clients Internet se i clients in una medesima LAN sono numerosi, anche l'ultimo miglio può saturare LAN la soluzione Multicast non è praticabile a causa del suo mancato supporto alla periferia, ed al mancato peering degli ISP il trasporto RTP non e' supportato dai Proxy (e non avrebbe senso)

4 La soluzione dell'application Level Multicast Al posto dei router si adottano agenti bifronte, contemporaneamente e Server, denominati Relay Un piano di controllo determina la topologia di distribuzione del contenuto, sostituendosi al routing (ovvero, tunneling a livello applicativo) La tecnologia dei Relay è mascherata da uno strato di adattamento, rendendo l'architettura agnostica La topologia risultante è determinata in modo automatico, evitando configurazioni manuali (analogia al peer to peer, ma nella rete e non tra utenti) Relay Relay Relay

5 Topologia Multi Hop risultante LAN-D Ultimo Miglio Primo Miglio Origin Ultimo Global LastHop Global FirstHop LAN-A Miglio Regional Ultimo LastHop LAN-C LastHop Internet Miglio LAN-B

6 Entità & Protocolli OpenCDN ai basa sulla esistenza di quattro entità: Portale di Annuncio dove si rivolgono i viewers Origin chi conferisce i contenuti Request Routing & Distribution Manager Nodo di replica che a sua volta può essere un First Hop > radice della distribuzione > serve altri Nodi > serve direttamente i viewers Nodi ed Origin aderiscono in modo autonomo, senza coinvolgimenti di terze parti FirstHop Origin Portale direttore d'orchestra Le entità comunicano tra loro mediante: Chiamate XML RPC esecuzione distribuita Probe UDP misure di RTT (Round Trip Time) e persistenza

7 SetUp della Distribuzione La topologia dipende dai Footprint dichiarati dai nodi individuano l'insieme dei destinatari che si intende servire rappresentati in alternativa come: Un prefisso di rete IP Un suffisso di Nome di Dominio (di prossima realizzazione) Un Footprint può essere: Indiretto > il nodo agisce come TRANSIT Diretto > il nodo agisce come LAST HOP per ogni client, la distribuzione attraversa i nodi che annunciano un footprint che ne racchiude l'indirizzo, ordinati dal meno al più specifico Origin FOOTPRINT FirstHop INDIRETTO LastHop LastHop Origin FOOTPRINT FirstHop DIRETTO LastHop LastHop

8 Scelta del surrogato periferico L'entità di controllo individua il nodo con Footprint più specifico rispetto al client e lo comunica la portale oppure Esempi di Footprint: /24 = i computer del mio Dipartimento / /2 = FootPrint globale di 2 ordine / /2.uniroma1.it = i computer del mio Ateneo se diversi nodi hanno annunciato una FootPrint globale, si può applicare un derivato di PYTE (CINECA), e cioè: Il portale include mini immagini che il client scarica dai surrogati globali I surrogati misurano il tempo di download delle immagini, ossia il RTT prima dell'ultimo Hop, i tempi sono confrontati, e si sceglie il surrogato più prossimo al client

9 Operazioni ricorrenti i Relay rinnovano periodicamente l'informazione dei propri Footprint LastHop LastHop le Origin pubblicano ripetutamente i Origin metadata relativi ai contenuti offerti Origin il periodo di rinfresco aumenta con il numero delle entità la rete torna presto operativa anche in caso di reboot dell'entità di controllo LastHop Origin

10 Pagina di Richiesta Permette di invocare i metodi di SETUP o di TEARDOWN e di scegliere tra i contenuti pubblicati dalle Origin restituisce l'indirizzo ove prelevare il contenuto richiesto:

11 Portale Richiesta di Servizio Relay Relay Relay Il visita il Portale e richiede lo streaming della web tv

12 Portale Richiesta di Servizio Relay Relay Relay Il Portale inoltra la richiesta all'

13 Portale Richiesta di Servizio Relay Relay Relay L' contatta il pertinente indicandogli l'origin da contattare

14 Portale Richiesta di Servizio RTSP Play RTP Relay Relay Relay Lo streaming raggiunge il surrogato

15 Portale Richiesta di Servizio Relay Relay Relay Il conferma all' l'esito dell'operazione

16 Portale Richiesta di Servizio Relay Relay Relay L' inoltra la risposta al Portale

17 Portale Richiesta di Servizio Relay Relay Relay Il Portale comunica al l'indirizzo della risorsa presso il Surrogato

18 Portale Richiesta di Servizio Relay Relay Relay Play Lo streaming raggiunge il

19 Portale Surrogato già attivo 2 1 Relay Relay Relay Il Portale inoltra all' la richiesta del nuovo

20 Portale Surrogato già attivo 23 Relay Relay Relay 24 L' risponde con l'indirizzo del Surrogato già attivo

21 Portale Surrogato già attivo Relay Relay Relay Play Lo streaming raggiunge il secondo

22 Recursione e sondaggio contatta il FIRST HOP, comunicando i possibili discendenti per ogni HOP avviene un sondaggio, ed il vincitore riceve un nuovo elenco, ristretto, di possibili discendenti il sondaggio è svolto in UDP, e mira a verificare l'operatività dei nodi individuare il NextHop più prossimo e/o più pronto interrogare se un nodo detiene tuttora un contenuto conoscere l'rtt misurato tra LastHop e client, e confrontarlo tra diversi LastHop raggiunto il LAST HOP l'esito risale lungo il path che si è creato l' è notificato di tutti i nuovi surrogati attivi First Hop Last Hop

23 Topologia Gerarchica e Adattativa Portale Origin Get il client effettua la richiesta

24 Topologia Gerarchica e Adattativa Portale Setup Origin il Portale la inoltra all'

25 Topologia Gerarchica e Adattativa Portale FindRoot Origin WhoNearest? l'origin del contenuto sonda i nodi l'ordine rispetta le preferenze dei FootPrint dal meno al più specifico

26 Topologia Gerarchica e Adattativa Portale Winner 2 Origin First 1 Answer l'origin rapporta sul FirsHop vincitore

27 Topologia Gerarchica e Adattativa Portale Origin DoRelay l' effettua il DoRelay verso il FirstHop più prossimo all'origin

28 Topologia Gerarchica e Adattativa Portale Origin AreYouThere? 1 2 il contenuto raggiunge il i LastHop sono sondati per ordine di FootPrint dal più al meno specifico

29 Topologia Gerarchica e Adattativa Portale Origin Yes 1 2 DoRelay il effettua il DoRelay verso il LastHop più prossimo al

30 Topologia Gerarchica e Adattativa Portale Origin il contenuto raggiunge il LastHop scelto

31 Topologia Gerarchica e Adattativa Portale Origin le chiamate DoRelay vengono chiuse il Portale risponde al

32 Topologia Gerarchica e Adattativa Portale Origin il contenuto raggiunge il

33 Resilienza a Failure e Outage Portale Origin un ulteriore client richiede un contenuto per il quale già esiste un surrogato idoneo

34 Resilienza a Failure e Outage Portale Origin Woking? interroga il surrogato rispetto al suo corretto funzionamento

35 Resilienza a Failure e Outage Portale Origin Woking? NoAnswer In caso di assenza di risposta si provano surrogati alternativi oppure si riparte da zero

36 Resilienza a Failure e Outage Portale Origin DoRelay il FirstHop è tuttora operativo e viene delegato a proseguire la distribuzione

37 Resilienza a Failure e Outage Portale Origin DoRelay DoRelay 2 1 un diverso LastHop è pronto a ricevere il contenuto

38 Resilienza a Failure e Outage Portale Origin le chiamate DoRealy vengono chiuse ed il portale risponde al client

39 Resilienza a Failure e Outage Portale Origin il contenuto raggiunge il client

40 Scelta LastHop metodo PYTE Portale 2 GetLH Get Page 1 il client visita la pagina di richiesta il portale chiede i LH disponibili

41 Localizzazione LastHop metodo PYTE Portale 3 URL immagini HTML 4 la pagina gli indirizzi delle immagini che risiedono presso i LastHop pertinenti per il

42 Localizzazione LastHop metodo PYTE Portale Get Get il client richiede le immagini ai LastHop

43 Localizzazione LastHop metodo PYTE Portale LH1 LH2 save RTT save RTT LH1 LH2 nella pagina compaiono le immagini i LastHop determinano il Round Trip Time nei confronti del

44 Localizzazione LastHop metodo PYTE Portale 2 Setup LH1 LH2 3 DoRelay Get Setup RTT? il controllo raggiunge l'ultimo viene chiesto il RTT verso quel si sceglie il più prossimo al

45 Architettura di un Nodo OpenCDN Altre entità XML RPC UDP XML RPC DoRelay NoRelay Query Strato di Controllo Perl API Strato di Convergenza Risposta ai Probe UDP Registrazione Perl API Capability Perl API Stato Condiviso Strato Adattamento Darwin Strato Adattamento Helix FILE CONFIGURAZIONE RELAY HTTP GET HTTP GET Darwin Streaming Server Helix Universal Server Nodo OpenCDN

46 Riassunto delle caratteristiche Estensibilità: Filosofia agnostica: Controllo centralizzato e accesso Web: Resilienza: l'architettura resiste a Topologia ottimizzata Autenticazione nuove Origin e Nodi aderiscono in modo autonomo supporto di contenuti e tecnologie differenti inconsapevolezza della natura e della tecnologia del dispositivo di replica facilità di amministrazione e fruizione partizionamenti della rete disattivazione dei nodi reboot dell'entità di controllo FirstHop vicino all'origin LastHop vicino al Per aderire occorre conoscere un segreto condiviso

47 Utilizzi potenziali e Attesi Dibattiti socio politici Eventi culturali e sportivi Musica dal vivo, teatro, danza piccole audiences per i canali Sat e TV, ma troppo ampie per lo streaming tradizionale Home netcasting (datemi un'adsl e vi predicherò al mondo!) Teledidattica (studenti a casa => LastHop presso gli ISP) Streaming di videoconferenza (da cui nascerà il talk show internet) Localizzazione della cache più prossima l'utilizzo di OpenCDN per la distribuzione di contenuti generici è possibile solo dopo lo sviluppo di un appropriato strato di adattamento per il caching in un progetto OpenSource, gli interessati possono iniziare a rimboccarsi le maniche ; )

48 Requisiti e Disponibilità Per aderire ad OpenCDN occorre: una Linux box (... o compatibile) uno Streaming Server (Helix di Real, o Darwin di Apple) connettività commisurata alla audience che si intende coprire Per apportare contenuti Live Streaming occorre: un encoder (Real producer, QT bradcaster, MPEG4IP live...) un minimo di struttura di produzione (videocamera, microfoni, mixer) una scheda di acquisizione (Pinnacle, Osprey...) connettività ADSL E' operativo un Hub nazionale con 100 Mbit in uscita, grazie alla disponibilità di GARR e CILEA Chiunque è benvenuto alla sperimentazione, e può contribuire con contenuti, LastHop per la propria rete, o sia nazionali che internazionali. Rivolgersi presso