OpenCDN: una architettura espandibile per Home Netcasting

Transcript

1 Alessandro Falaschi OpenCDN: una architettura espandibile per Home Netcasting... ovvero: come predicare a milioni di persone dalla cucina di casa propria Roma, 22 Gennaio 2005 La settimana delle Libertà LinuxClub

2 La riappropriazione del broadcast come meta strategica La rete annulla l'esigenza della intermediazione nei media L'intermediazione allontana produttore e consumatore, aumenta i costi, e diviene lei merce di scambio Nel mercato televisivo la merce è la nostra attenzione, venduta agli inserzionisti pubblicitari L'attitudine umana all'emulazione, fa della TV l'eroina dei popoli Per vendere la nostra attenzione ci tengono lì incollati, deprivandoci del diritto di espressione, impedendo la circolazione delle opinioni Il consumatore è il nuovo proletario, e la sua azione di resistenza è: Consumo critico Uso di Software Libero e rifiuto di ciò che lo ignora Boicottaggio Inversione della valenza pubblicitaria: non li comperate!

3 Dove va la società dell'informazione? Mentre vogliono venderci videofonini come se non aspettassimo altro, grazie alla rete esistono da tempo migliori strumenti di comunicazione, come messenger e videoconferenza Tra qualche anno, ognuno a casa propria, sarà normale incontrarsi con gli amici in una videoconferenza di gruppo, dopo averli notati sul messenger E se mandiamo la videoconferenza in streaming, cosa c'è di diverso rispetto ad un talk show televisivo, con invitati via satellite?

4 Problema: il Live Streaming non è Scalabile Architettura Server Un elevato numero di accede al medesimo contenuto Si incorre presto nell'esaurimento della CPU e della banda in uscita, od anche di quella di ultimo miglio Internet LAN Soluzione Multicast ROUTER MULTICAST Non è detto che i router periferici lo supportino e/o lo abilitino Gli ISP non fanno peering multicast Sussiste il problema di assegnazione degli indirizzi, che ostacola il peering

5 Soluzione: Application Level Multicast Si adottano agenti bifronte, contemporaneamente e Server, con funzioni di Relay Relay (ponte) ritrasmettendo quanto ricevono Splitting (suddivisione) replicando il flusso multimediale per tutti i client a valle Relay Relay Una scelta appropriata dell'albero di distribuzione tra Relay ottimizza l'impegno delle risorse di rete ed il carico della sorgente Problemino: ( ONE) non è pensabile stabilire una distribuzione ad hoc per ogni nuovo evento!

6 Topologia Multi Hop risultante Viewer Origin FirstHop Viewer Viewer Primo Miglio LAN-A Ultimo Miglio Viewer LastHop Global Regional LAN-B Ultimo Miglio Regional LastHop LastHop Internet Viewer LAN-D Viewer Viewer LAN-C

7 Content Delivery Network Evoluzione delle Web Cache, attuata mediante gerarchia di Proxy Ora il client è IGNARO del proxy Valore Aggiunto: SCALE and REACH Proxy Surrogato SCALE: possono essere raggiunti molti più clients REACH: i client prelevano i contenuti a partire da surrogati loro vicini Componenti del servizio CDN: Delivery: la consegna dei contenuti tra Relay e verso i s, la tecnologia del Relay Distribution: lo sviluppo della topologia della rete di Relay Request Routing: come la richiesta di un client è instradata verso il surrogato migliore Accounting: come tariffare il servizio, raccogliere i Logs

8 Necessità di una Infrastruttura Comune Le diverse tecnologie di streaming (WM, QT, Real) sono spesso incompatibili dal punto di vista dei codec (WM, MPEG, QT, REAL) del controllo (RTSP, MMS) del trasporto (RTP, RDT) Esiste il rischio di incorporare la tecnologia nell'architettura, favorendo la diffusione della tecnologia dominante, a discapito di tutte le altre

9 Open Content Delivery Network OpenCDN Realizza il piano di controllo della Distribuzione in modo indipendente dalla tecnologia di Streaming Nata nell'ambito della Task Force NETCAST di TERENA, per lo sviluppo di un canale di Live Streaming Accademico Si basa sulla esistenza di tre entità: Portale di Annuncio dove si rivolgono i viewers Origin conferiscono i contenuti controllo di Request Routing & Distribution Management Nodo di streaming che a sua volta può essere un First Hop Relay radice della distribuzione Relay serve direttamente i viewers Relay serve altri Nodi

10 Architettura del Nodo di OpenCDN OpenCDN INGLOBA un dispositivo (Darwin QT, Real o WM) di Streaming in un piano di controllo che ne permette la configurazione remota Uno STRATO DI CONTROLLO interagisce con e con Remote gli altri nodi, mediante messaggi XML RPC I parametri delle chiamate remote sono espressi in XML, trasportati nel body di messaggi HTTP Procedure Call Esistono librerie e moduli che realizzano la serializzazione XML dei parametri di chiamata per i linguaggi più diffusi I Nodi si contattano l'uno con l'altro chiedendo di realizzare un Relay PULL ossia il ricevente richiede i contenuti del chiamante Uno STRATO DI ADATTAMENTO interagisce con il dispositivo, ed offre una API indipendente dalla tecnologia

11 Architettura del Nodo di OpenCDN La SEPARAZIONE nei due strati funzionali CDN Control Layer Adaptation Layer e la REALIZZAZIONE di un diverso Adaptation Layer per i diversi dipositivi PORTALE Consentono l'uso congiunto di differenti tecnologie di Streaming XML RPC HTTP XML RPC { OpenCDN Node NODO Control Layer Adaptation Layer Apple Darwin SS NODO Control Layer Adaptation Layer Real Helix US NODO Control Layer Adaptation Layer Microfott WMS

12 Nodo Darwin Streaming Server Apple rilascia il suo Streaming Server (DSS) come OpenSource Encoding in formato MPEG4 con MPEG4IP RTP per il trasporto e RTSP per il controllo Può erogare in MULTICAST (es. LAN di destinazione) E' gestito mediante una INTERFACCIA WEB L'Interfaccia di gestione è consiste in un server WEB in PERL che invia comandi HTTP a DSS I comandi sono stati analizzati con lo sniffer ETHEREAL Il controllo dei relay attivi si basa su un FILE XML generato dal Perl e letto dal Server Interfaccia Web di Amministrazione FILE DI CONFIGURAZIONE DEI RELAY RICHIESTA HTTP GET Darwin Streaming Server

13 Nodo Strato di Adattamento per DSS L'Adaptation Layer per DSS EMULA il funzionamento della sua Interfaccia Web Controlla Darwin modificando il FILE XML e generando richieste HTTP GET è realizzato in PERL ed offre una API che implementa le primitive sottostanti Application Programming Interface New Term Do_Relay No_Relay Mk_Mount Query_Band Server_Status _Stats Relay_Stats } } GESTIONE DEI MEDIA } CONFIGURAZIONE RELAY } STATISTICHE D'USO Costruttore/CleanUp API Darwin Adaptation Layer FILE DI CONFIGURAZIONE DEI RELAY RICHIESTA HTTP GET Darwin Streaming Server

14 Nodo Helix Streaming Server Real rilascia tre versioni del suo Universal Server (Helix) Helix Server Basic OpenSource Helix DNA Server Helix Universal Server Evaluation e solo l'ultima ha capacità di Relay, ma dopo un mese occorre ri scaricare la chiave di licenza di prova Le primitive di controllo dello streaming sono fuori standard, ma i relay divengono attivi con latenza minore Se usato per clip On Demand, ne effettua il caching Lo stesso demone risponde in HTTP, ed offre una interfaccia WEB di configurazione Browser Web Visualizza parametri operativi Immisione parametri di controllo Helix Universal Server

15 Nodo Strato di Adattamento per Helix L'Adaptation Layer per Helix EMULA un Browser web ed impartisce alla cieca i comandi per il suo controllo Si utilizza il modulo Perl LWP::UserAgent Offre la medesima API realizzata per Darwin API Helix Adaptation Layer Immisione comandi di controllo Helix Universal Server

16 Nodo Control Layer Anch'esso realizzato in PERL <?xml version="1.0"?> <methodcall> <methodname>norelay</methodname> <params> <param> <value> <struct> <member> <name>program</name> <value> <string>rtsp://prova.mp4</string> </value> </member> </struct> </value> </param> </params> </methodcall> Comunica con e con gli altri nodi con chiamate XML RPC Usa la API dell'adaptation Layer per controllare lo SS Gestisce la recursione dei Mantiene memoria dei propri nodi DownStream Implementa i metodi seguenti, invocabili dalle altre entità: DO RELAY NO RELAY NODE QUERY STATUS } } GESTIONE DEL MEDIA STATISTICHE D'USO AI NODI Do No Node Relay Relay Query Status OpenCDN Control Layer

17 Struttura Complessiva di un Nodo Darwin Interfaccia XML RPC Interfaccia PERL Do No Node Relay Relay Query OpenCDN Control Layer Application Programming Interface FILE DI CONFIGURAZIONE DEI RELAY Interfaccia HTTP Status Adaptation Layer RICHIESTA HTTP GET Darwin Streaming Server

18 Sviluppo della distribuzione Ogni nodo annuncia uno o più FOOTPRINT, che individuano l'insieme dei nodi che si intendono servire Un Footprint è rappresentato in alternativa da: Un prefisso di rete IP (simile a una riga di routing table) Un suffisso di Nome di Dominio (di prossima realizzazione) Un Footprint può essere: Diretto > il nodo agisce come LAST HOP RELAY Indiretto > il nodo agisce come TRANSIT RELAY I Footprint sono annidati, permettendo di individuare la topologia della distribuzione

19 FootPrint e Routing /24 = i computer del mio Dipartimento Esempi di Footprint: / /2 = FootPrint globale di 2 ordine / /2.uniroma1.it = i computer del mio Ateneo I Footprint permettono di svolgere funzioni di routing a livello applicativo Noto l'indirizzo di un viewer, si individuano tutti i nodi che hanno annunciato un footprint che lo racchiude Questo insieme può essere ordinato dal meno al più specifico, individuando così l'instradamento dal centro alla periferia

20 Footprints Origin FirstHop FOOTPRINT INDIRETTO

21 Footprints Sorgente FirstHop FOOTPRINT DIRETTO

22 Request Routing and Distribution Managment Realizzato anch'esso in PERL Memorizza le Footprint annunciate dai Nodi Individua i nodi coinvolti per l'indirizzo del viewer richiedente, e ne stabilisce l'ordinamento in base alla specificità dei footprint Memorizza i Relay attivi per i diversi Programmi, ed i DownStream diretti a cui propagare il TearDown Implementa i metodi XML RPC usati per offrire il servizio al portale REGISTER PUBLISH SETUP TEARDOWN STATUS IPC } GESTIONE OPENCDN } ACCESSO AI DATI

23 Esecuzione concorrente L' usa il modulo Net::Server di Perl, e risponde a più richieste di SetUp contemporanee Un secondo processo non forkato mantiene i dati delle registrazioni, dei Relay attivi e dei Downstream La comunicazione interprocesso è attuata a sua volta mediante chiamate XML RPC I contenuti delle strutture dati sono accessibili dall'esterno

24 Metadata registati dalla Origin Chi desidera apportare contenuti, deve disporre a sua volta di uno streaming server e di un encoder Deve quindi mandare in esecuzione un processo che periodicamente comunica all' i metadata che descrivono i propri contenuti, come Indirizzo delle SS Banda necessaria Note su chi lo mette in linea Formato video dimensione e frame rate Descrizione sommaria Formato audio

25 Pagina di Test Permette di invocare i metodi di SETUP o di TEARDOWN e di scegliere tra i contenuti annunciati dalle Origin restituisce l'indirizzo a cui rivolgersi per prelevare il contenuto richiesto

26 Fasi Operative Quando un Nodo si attiva, comunica le sue Footprint all' Quando una Origin si attiva, pubblica presso l' i metadata dei contenuti che offre Quando un client fa richiesta di un contenuto presso il Portale, questo invoca il servizio OpenCDN all' L' conosce il Footprint di tutti i Nodi, e può determinare il più idoneo a servire un determinato client, e quali nodi di transito coinvolgere Al termine della configurazione dei Nodi interessati, l' comunica l'esito al Portale, e questo al Se un nuovo giace in una Footprint già servita, l' non esegue le fasi di configurazione remota

27 Fasi Operative REGISTRAZIONE I Nodi contattano l' dichiarando: FORMATO/PROTOCOLLO gestiti FOOTPRINTS serviti Le Origin pubblicano i metadata SETUP Portal REGISTER PUBLISH REGISTER RESP Portal HTTP GET Origin RESPONSE Origin SETUP DO RELAY Il Portale invia una richiesta di servizio all' L' provvede alla SODDISFAZIONE DELLA RICHIESTA I' comunica al Portale l'indirizzo del PLAY RTP DO RELAY RESP SETUP RESP HTTP RESP PLAY RTP TEARDOWN Al termine dell'evento trasmesso, il Portale richiede all' di LIBERARE LE RISORSE Portal TEARDOWN NO RELAY NO RELAY RESP TEARDOWN RESP Origin

28 Portale Richiesta di Servizio Web TV Relay Relay Relay Il visita il Portale e richiede lo streaming della web tv

29 Portale Richiesta di Servizio Web TV Relay Relay Il Portale inoltra la richiesta all' Relay

30 Portale Richiesta di Servizio Web TV Relay Relay Relay L' contatta il pertinente indicandogli la risorsa da ricevere

31 Portale Richiesta di Servizio Web TV Play Relay Relay Lo streaming raggiunge il surrogato RTP Relay

32 Portale Richiesta di Servizio Web TV Relay Relay Relay Il conferma all' l'esito dell'operazione

33 Portale Richiesta di Servizio Web TV Relay Relay L' inoltra la risposta al Portale Relay

34 Portale Richiesta di Servizio Web TV Relay Relay Relay Il Portale comunica al l'indirizzo della risorsa presso il Surrogato

35 Portale Richiesta di Servizio Web TV Relay Relay Play Lo streaming raggiunge il Relay

36 Surrogato già attivo Portale Web TV 2 Relay Relay Relay 1 Il Portale inoltra la richiesta del all'

37 Portale Surrogato già attivo Web TV 23 Relay Relay Relay 42 L' risponde con l'indirizzo del Surrogato già attivo

38 Portale Surrogato già attivo Web TV Relay Relay Play Relay Lo streaming raggiunge il secondo

39 Recursione per i TRANSIT RELAY L' dialoga con un solo nodo, il FIRST HOP, relativo alla Footprint meno specifica per il viewer da servire Il FirstHop riceve un elenco di possibili downstreamers, ed assume per loro il ruolo che aveva l' Può essere il più specifico Nodo già attivo Ricorda il downstream prescelto per poter propagare il TearDown/NoRelay Quando la recursione raggiunge il LAST HOP l'esito risale lungo il path che si è creato l' è notificato di tutti i nuovi surrogati attivi First Hop

40 Adattamento alle Condizioni di Carico OpenCDN può realizzare un bilanciamento di carico tra i Nodi, e rispondere alle variazioni delle condizioni della rete Le chiamate XML RPC viaggiano in TCP Se un nodo è DOWN, occorre attendere il timeout! Prima di contattare un Nodo, questo viene sondato inviando un treno di pacchetti UDP (uno ogni 100 msec per 2 sec) Più sondaggi sono svolti in parallelo, ed i nodi ordinati in base alla latenza, in modo da privilegiare il meno carico quello con migliori condizioni di rete

41 UDP Probe Il nodo è in ascolto anche su di un socket UDP, che re invia al mittente i pacchetti ricevuti XML RPC TCP Probe UDP Processo Padre Processo Figlio in ascolto in ascolto Nodo CDN L'invio e la ricezione degli UDP PROBE è realizzata da un secondo processo figlio, che comunica con il padre mediante un socket TCP interno al nodo (figura seguente)

42 UDP Probe 2 XML RPC Probe TCP UDP in ascolto in ascolto Processo Padre Processo Figlio Processo Padre in ascolto Nodo CDN TCP TCP TCP Processo Figlio Processo Figlio UDP UDP Probe Probe Esito Probe Nodi CDN TCP Processo Figlio UDP Probe

43 Topologia Gerarchica e Adattativa Portale Origin Web TV Get Il effettua la richiesta

44 Topologia Gerarchica e Adattativa Portale Setup Origin Web TV Il Portale inoltra la richiesta all'

45 Topologia Gerarchica e Adattativa Portale FindRoot Origin Web TV L'Origin del contenuto richiesto sonda i Nodi per conto di

46 Topologia Gerarchica e Adattativa Portale Winner Origin Web TV L'Origin rapporta sul FirstHop vincitore

47 Topologia Gerarchica e Adattativa Portale Origin Web TV DoRelay L' invia una DoRelay al Nodo vincitore

48 Topologia Gerarchica e Adattativa Portale Origin Web TV Lo streaming raggiunge il

49 Topologia Gerarchica e Adattativa Portale Origin Web TV Il verifica lo stato dei candidati

50 Topologia Gerarchica e Adattativa Portale Origin DoRelay Web TV Il invia una DoRelay al Nodo che ha risposto per primo

51 Topologia Gerarchica e Adattativa Portale Origin Web TV Lo streaming raggiunge il scelto

52 Topologia Gerarchica e Adattativa Portale Origin Web TV Le chiamate DoRelay vengono chiuse Il Portale risponde al

53 Topologia Gerarchica e Adattativa Portale Origin Web TV Lo streaming raggiunge il

54 Resilienza rispetto alle condizioni dinamiche Resistenza ai reboot dell' se l' viene fatto ripartire, si perdono tutti i dati registrati da Nodi ed Origin! presso Nodi ed Origin viene eseguito un diverso processo che periodicamente rinnova le registrazioni Resistenza rispetto ai crash dei Nodi ed alle Network Outages se un nodo con un Relay attivo va fuori linea, i dati dell' divengono obsoleti, ed i Viewer rischiano di essere diretti verso un binario morto Prima di fornire al Viewer l'indirizzo di un surrogato attivo, lo interroga mediante probe UDP relativamente all'effettivo funzionamento del Relay

55 Relisienza rispetto a Nodi fallaci Portale Origin Web TV Un client richiede un contenuto per il quale già esiste un surrogato idoneo

56 Relisienza rispetto a Nodi fallaci Portale Woking? Origin Web TV interroga il surrogato rispetto al suo corretto funzionamento

57 Relisienza rispetto a Nodi fallaci Portale Origin Web TV Woking? Failure In presenza di risposta negativa si provano i nodi alternativi oppure si riparte da zero

58 Relisienza rispetto a Nodi fallaci Portale Origin Web TV DoRelay Il FirstHop è tuttora funzionante e viene delegato a proseguire la distribuzione

59 Relisienza rispetto a Nodi fallaci Portale Origin Web TV DoRelay DoRelay Un diverso LastHop è pronto a ricevere il contenuto

60 Relisienza rispetto a Nodi fallaci Portale Origin Web TV Le chiamate DoRelay vengono chiuse ed il Portale risponde al

61 Relisienza rispetto a Nodi fallaci Portale Origin Web TV Lo streaming raggiunge il

62 Infrastruttura di autenticazione Necessaria perchè la partecipazione ad OpenCDN è libera, spontanea e... incoraggiata! In assenza di autenticazione, è facile per qualunque folletto immettere in rete entità fasulle, ed inviare a quelle buone comandi fuorvianti! Si basa sulla conoscenza, da parte di tutte le entità (portale,, Nodi, Origin) di un segreto condiviso, utilizzato in fase di registrazione per ricevere un token Il token viene quindi allegato a tutti i comandi successivi, e modificato di tanto in tanto, in occasione delle ri registrazioni In presenza di comportamenti scorretti, viene modificata la password, e tutte le entità a cui non è stata comunicata non possono aggiornare il token, e vengono estromesse

63 Installazione e Configurazione Circa ogni mese, sono rilasciate delle versioni aggiornate E' attivo su SourceForge un server CVS per lo sviluppo cooperativo ed il reperimento della versione corrente La distribuzione contiene un README con le istruzioni di installazione e configurazione Files di configurazione permettono di indicare il valore dei parametri operativi delle entità Presso è attivo un pubblico pressoil quale registrare le proprie entità e verificarne il funzionamento

64 Futuro Attualmente presenti presso: Aggiunta di Nodi in giro per la rete Laboratori di ricerca, ISP, carriers, operatori telefonici... opencdn.uniroma1.it ocdn.mirror.garr.it laboratori TiLab tv.funet.fi Sviluppo dell'adaptation Layer per altre piattaforme Mi chiedono il supporto per windows media server: ma se lo scrivessero! Coinvolgimento di soggetti produttori di contenuti Dibattiti culturali, eventi musicali, centri sociali... Sviluppo delle features mancanti Uso di thread anziché processi figli Generazione del grafico della topologia risultante Footprint come suffissi di Dominio Sviluppo di una interfaccia grafica di configurazione Aging delle registrazioni e rimozione delle entità assenti Sviluppo di una modalità push per i relay di Darwin