29/09/ Materiale didattico. Sistemi Peer to Peer. Sommario. X.1 The Architectures of 1 st and 2 nd Gen. P2P. Capitolo 5:

Transcript

1 Sistemi Peer to Peer Materiale didattico i) Peer to Peer Sstems and Applications Series: Lecture Notes in Computer Science, Vol. 385 Sublibrar: Information Sstems and Applications, incl. Internet/Web, and HCI to peer.info Steinmetz, Ralf; Wehrle, Klaus (Eds.) 2005, XVII, 629 p. With online files/update., Softcover ISBN: ii) Research papers ( ( it/~cordasco) ennaro Cordasco Dipartimento di Informatica e Applicazioni Università degli Studi di Salerno cordasco[@]dia.unisa.it cordasco+p2p[@]gmail.com Laboratorio ISISLAB 2 (DIA Piano 2) iii) JXTA java Programmers guide ( iv) JXTA Protocol Specifications ( v) Le slide del corso ( che ovviamente non sono sufficienti per superare l esame!!! 1 2 Sommario Capitolo 5: Reti P2P non Strutturate Introduzione Reti P2P non strutturate Caratteristiche di base Reti P2P centralizzate Reti P2P pure Reti P2P ibride (che usano SuperPeer) Random raphs, Small Worldsand ld d Scale Free Networks Reti P2P strutturate Lower Bound Reti non Uniformi JXTA Caratteristiche principali dei sistemi P2P di 1 a e 2 a generazione I sistemi di 1a e 2a generazione sono delle semplici reti di overla con le seguenti caratteristiche : Sono basati su TCP/IP Il controllo è decentralizzato (in alcuni casi ci sono degli elementi centralizzati) I Contenuti: Sono distribuiti in maniera casuale nella rete (in alcuni casi sono previste repliche) I contenuti e la loro descrizione non sono strutturati ( tipicamente i contenuti si trovano nel nodo che li ha inseriti nel sistema) Il trasferimento dei contenuti avviene: Attraverso connessioni separate Di solito si usa HTTP Permettono di sfruttare anche le risorse che si trovano sull edge della rete (computing power and data storage) Due tipi di richieste: Richiesta di contenuti (lookup) Messaggi Keep alive (permettono di mantenere la connessione della rete) Sviluppati prevalentemente per il file sharingg Ne esistono varie realizzazioni X.1 The Architectures of 1 st and 2 nd en. P2P Client-Server 1. Server is the central entit and onl provider of service and content. Network managed b the Server 2. Server as the higher performance sstem. 3. Clients as the lower performance sstem Example: WWW Peer-to-Peer 1. Resources are shared between the peers 2. Resources can be accessed directl from other peers 3. Peer is provider and requestor (Servent concept) Unstructured P2P Centralized P2P Pure P2P Hbrid P2P DHT-Based 1. All features of Peer-to- Peer included 2. Central entit is necessar to provide the service 3. Central entit is some kind of index/group database Example: 1. All features of Peer- to-peer included 2. An terminal entit can be removed without loss of functionalit 3. No central entities Examples: nutella 0., Freenet 1. All features of Peer- to-peer included 2. An terminal entit can be removed without loss of functionalit 3. dnamic central entities Example: nutella 0.6, JXTA Structured P2P 1. All features of Peer-to- Peer included 2. An terminal entit can be removed without loss of functionalit 3. No central entities. Connections in the overla are fixed Examples: Chord, CAN 1 st en. 2 nd en. 3 rd en. 1

2 Caratteristhe della rete Peer: che partecipa attivamente nella costruzione della rete di overla (PC che utilizza Kazaa) Provider di contenuti + utilizza i contenuti+ router nella rete di overla Identificabile mediante un ID unico (hash value oppure random ID) Caratteristiche delle rete di overla: E completamente indipendente dalla rete fisica Può essere basata su una gerarchia (rendezvous peers in JXTA) Può includere un server centralizzato (lookup server in ) (star network) Può essere completamente randomizzata (nutella 0.) e quindi modellata come un grafo casuale (randoml meshed network) Utilizza un indirizzamento decentralizzato Routing su reti di Overla Messaggio di richiesta (lookup): Include un contatore, un ID di messaggio e un TTL (Time to Live) nell header TTL determina il numero massimo di hop che il messaggio può effettuare Di solito il routing è basato sul flooding Ogni nodo inoltra il messaggio a tutti i suoi vicini tranne quello dal quale ha ricevuto il messaggio Tranne se Ha già inoltrato un messaggio con lo stesso ID (loop!!) Hop count = TTL Risposta (quer hit): Include un contatoreid and e un TTL (Time to Live) nell header L ID è lo stesso della richista Percorre la stessa strada della richiesta ma all indietro (no flooding) Bootstrapping E un problema non banale che di solito non fa parte del protocollo In particolare ogni protocollo assume che un nodo che vuole entrare nel sistema deve conoscere almeno un altro nodo già presente nel sistema Possibili soluzioni: Bootstrap cache: Si prova a stabilire una connessione con qualche nodo conosciuto in una sessione precedente Bootstrap server: Ci si connette a un well known host, che è sempre nella rete Si chiede a un bootstrap server di fornire l indirizzo di un nodo nella rete Broadcast on the IP laer Use multicast channels Use IP broadcasting ( limited to local network) Sommario Introduzione Reti P2P non strutturate Caratteristiche di base Reti P2P centralizzate Reti P2P pure Reti P2P ibride (che usano SuperPeer) Random raphs, Small Worldsand ld d Scale Free Networks Reti P2P strutturate Lower Bound Reti non Uniformi JXTA 10 Sistemi P2P centralizzati Tutti i peer sono connessi a una entità centrale Tutti I peer possono stabilire una connessioen con ogni altro peer (on demand) al fine di scambiare delle risorse (es. file mp3) L entità centrale è necessaria per il discover della risorsa Fornisce una sorta di database che permette di risolvere le richieste di risorse (lookup) Sistemi P2P centralizzati Bootstrapping: Bootstrap server = central server Sebbene l entità centrale può essere costituita da una Server farm essa rappresetnta un collo di bottiglia per il sistema Tutte le richieste (lookup) sono dirette all entità centrale Peer central entit: Per la richiesta di un contenuto Per accedere al sistema e registrarsi Per aggiornare le informazioni relative ai contenuti condivisi Peer Peer: HTTP Per lo scambio di contenuti/risorse 2

3 La Topolodia dei sistemi P2P centralizzati Esempio: Un applicazione basata sul protocollo TCP Partecipanti: peers Servizi dei Client Login Richiesta risorsa Download risorsa P2P Service Data transfer Data Transfer Central Index server Servent 2 servents (TCP) router & servent routers (Core) Tutto in cinque passi: Connessione al Server Push: Caricamento della lista dei file condivisa sul Server Quer: Si invia una richiesta al Server contenente una serie di keword ed alcuni requirement Select: Si scelgono le migliori risposte Download: Ci si connette ai peer che dispongono della risorsa richiesta : Struttura dei messaggi : Login Client/Server Service HEADER 8bte <Paload Length> bte <Function> Bte PAYLOAD 1: LOIN (Function:0x02) <Nick> <Password> <Port> <Client-Info> <Link-tpe> 2: LOIN ACK (Function: 0x03) Describes the message tpe (e.g. login, search, ) Describes parameters of the message (e.g. IDs, kewords, ) : Push Client/Server Service 3: NOTIFICATION OF SHARED FILE (0x6) <Filename> IP: 001 Nick: LKN <MD5> <Size> <Bitrate> <Freq> <Time> NOTIFICATION(0x6) band LOIN(0x02) -song.mp3 ACK(0x03) 3f3a lkn nap v0.8 9 Central Index server : Quer 1: SEARCH (Function: 0xC8) [FILENAME CONTAINS Search Criteria ] [MAX_RESULT <Max>] [LINESPEED <Compare> <Link-Tpe>] [BITRATE <Compare> <Bitrate> ] [FREQ <Compare> <Freq> ] 2: SEARCH RESPONSE (Function: 0xC9) <Filename> <MD5> <Size> <Bitrate> <Freq> <Time> <Nick> <IP> <Link-Tpe> Una notifica per ogni file da condividere La struttura dei messaggi è specifica per mp3!! Central Index server SEARCH(0xC8) FILENAME CONTAINS song MAX_RESULTS 100 LINESPEED AT LEAST 6 BITRATE AT LEAST 128 FREQ EQUAL TO 100 IP: 002 Nick: MIT 3

4 : Esempio di messaggi Peer (Req) Login: [0x2 0x02 ] Login Ack: [0x00 0x03 ] Notif: [0x6 0x6 ] Notif: [0x6 0x6 ] Notif: [0x6 0x6 ] Search: [0x7E 0xC8 ] Response: [0xC 0xC9 ] Response: [0xC 0xC9 ] Server HTTP: ET[Filename] OK[data] Peer (Prov) Reti P2P centralizzate : Conclusioni Svantaggi Facili da attaccare (il server rappresenta l anello debole) Il Server è un collo di bottiglia per il sistema Possibile congestione del Server Nessun incentivo a collaborare Vantaggi Lookup veloce (in un solo passo) Una unica autorità fidata che gestisce il database Non sono necessari messaggi di tipo Keep alive (a parte gli aggiornamenti dei propri contenuti) Possibili applicazioni VoIP (SIP, H.323) Auctioning (Eba) Sommario Introduzione Reti P2P non strutturate Caratteristiche di base Reti P2P centralizzate Reti P2P pure Reti P2P ibride (che usano SuperPeer) Random raphs, Small Worldsand ld d Scale Free Networks Reti P2P strutturate Lower Bound Reti non Uniformi JXTA Reti P2P pure Ogni entità (peer) può essere rimosso senza perdita di funzionalità del sistema Non ci sono gerarchie ne Server I peer stabiliscono connessioni con gli altri peer in maniera casuale 21 Reti P2P pure Bootstrapping: Attraverso bootstrap server Utilizzando la cache (nodi contattati in sessioni precedenti) Attraverso well known host Non è necessaria la registrazione Routing: Completamente decentralizzato Non c è una fase di Push Quer: utilizza il flooding (senza cicli e con TTL) Risposte: back routed (ogni nodo è rappresentata da un ID che permette alla quer di tornare indietro senza usare il flooding) Comunicazione: Basata su TCP Sono necessari dei messaggi di Keep alive Permette la richiesta dei contenuti Trasferimento dei contenuti: Basato su HTTP Comunicazione diretta indipendente dalla rete di overla Topologia delle reti P2P pure Servent 2 servents (TCP) router & servent routers (Core)

5 Esempio: nutella 0. The nutella Network 2002 Programma per lo scambio di file (non necessariamente mp3) sulla rete Internet Obiettivo: fornire un meccanismo decentralizzato per la ricerca dei file Evoluzione: Marzo M : viene i realizzato li e reso pubblico bbli da d Justin J i Frankel Tom Pepper (Nullsoft) Spring 2001: viene proposta una drastica modifica del protocollo al fine di migliorare la scalabilità Æ nutella 0.6 (Hbrid P2P) Measurements taken at the LKN in Ma 2002 Esempio: nutella 0. nutella 0. Struttura dei messaggi Un applicazione basata sul protocollo TCP Partecipanti: nutella peers nodeid Servizi (P2P) x Flooding x Inoltrare le risposte x Richieste i hi di Download l d Peer/ Servent 16 Btes Function TTL Hops Paload Length 1 Bte 1 Bte 1 Bte Btes MESSAEHEADER: 23Bte TCP connection Tutto in cinque passi: Connessione ad almeno un peer già connesso alla rete Esplorazione del vicinato (tramite messaggi di PIN e risposte PON) Tipo di messaggio (es. login, search, ) Contenuto del messaggio (es. IDs, kewords, ) nodeid: identificatore unico di 128bit dell host Quer: Si invia una richiesta a tutti i vicini contenente una serie di keword ed alcuni requirement TTL(Time-To-Live): numero massimo di hop che il messaggio può effettuare Select: Si scelgono le migliori risposte Hops: numero di hop già effettuati Download: Ci si connette ai peer che dispongono della risorsa richiesta nutella 0. Struttura dei messaggi PIN (Function:0x00) No Paload nutella 0.: Connessione node 2000 establishes a connection to nutella Connect PON (Function:0x01) Port 2 Btes IP Address Btes Nb. of shared Files Btes Nb. of Kbtes shared Btes NODE ID: 1000 IP: 001 NODE ID: 2000 IP: 002 (Function:0x80) Minimum Speed 2 Btes Search Criteria n Btes HIT (Function:0x81) Nb. of Hits 1 Bte Port 2 Btes IP Address Btes Speed 1 Bte File Index Btes Result Set n Btes nodeid 16 Btes File Name n Btes NODE ID: 3000 IP: NODE ID: 000 IP: 00 18nutella OK 19PIN 20PON/IP:00 21PIN 23PON/IP:001 27PON/IP:001 22PIN 2PON/IP:003 28PON/IP:003 25PIN 26PIN 5

6 nutella 0.: Esempio sequenza messaggi di connessione Reti P2P pure : Conclusioni Peer7 Peer3 Peer1 Peer5 Peer2 Peer Peer6 PIN PON nu-con OK PIN PON PON nu-con OK nu-con OK PIN PIN PIN PIN PIN PON PON PIN PIN PON PIN PIN PON PON PIN PON Peer Svantaggi Possibile congestione della rete dovuta alla grossa mole di messaggi Peer poco efficienti possono rappresentare un collo di bottiglia Rete di overla non ottimale Non esiste una vista completa della rete, Non esiste un coordinatore Sono possibili rotte di tipo zigzag Vantaggi Non c è un punto singolo da attaccare Forniscono anonimia Permettono la creazione di gruppi di interesse Aree di Applicazione File sharing Servizi di anonimia PON PON PON Sommario Introduzione Reti P2P non strutturate Caratteristiche di base Reti P2P centralizzate Reti P2P pure Reti P2P ibride (che usano SuperPeer) Random raphs, Small Worldsand ld d Scale Free Networks Reti P2P strutturate Lower Bound Reti non Uniformi JXTA Reti P2P ibride (che usano SuperPeer) Caratteristiche principali (rispetto alle reti pure): Sistema basati su due laer La rete che si ottiene è costituita da una serie di hub interconnessi tra loro Il numero di messaggi scambiati si riduce in maniera notevole senza intaccare l affidabilità della rete I supernodi vengono scelti per elezione o per volontà (devono cmq soddisfare determinati criteri) Superpeer: alto grado (grado>>20, dipende dalla dimensione della rete) Peer: si connettono a uno o più Superpeer (grado<7) peer 33 Superpeer Catatteristiche di base dei sistemi P2P con SuperPeer Bootstrapping: Attraverso bootstrap server Utilizzando la cache (nodi contattati in sessioni precedenti) Attraverso well known host La registrazione è necessaria. Ogni peer si registra presso un Superpeer ed annuncia la lista dei file da condividere Routing: Parzialmente decentralizzato Il Peer (se non è un superpeer) invia la richiesta a un Superpeer IL Superpeer risolve la richiesta chiedendo ad altri Superpeer (esistono diverse strategie che vanno dal flooding all utilizzo di una DHT) Il Superpeer inoltra la risposta ottenuta al Peer Connessioni: Based on TCP o UDP Keep alive necessari almeno fra i Superpeer Content search Trasferimento dei contenuti: Di solito si basa sul protocollo HTTP La trasmissione del contenuto avvine da Peer a Peer (è indipendente dalla rete di Overla e non passa necessariamente per I Superpeer) Topologia di una rete P2P con Superpeer Struttura astratta della rete geografica mostrata sulla destra , 3 18 Vista geografica di una parte della rete nutella 0.6 al E possibile vedere che sebbene questa rete offre notevoli miglioramenti sono comunqe presenti path di tipo zigzag (Ad esempio la path da 118 a 18). Questo perchè la struttura della rete non è conforme alla posizione geografica dei Peer. La struttura astratta permette di individuare gli hub (Superpeer) della rete

7 Esempio di sistema che utilizza Superpeer: nutella 0.6 Programma per la condivisione di file sulla rete Internet Obiettivo: Un algoritmo di ricerca decentralizzato che non congestiona la rete e sia affidabile e senza colli di bottiglia come i sistemi P2P puri I sistemi con superpeer p sono tuttora alla base di quasi tutte le applicazioni commerciali per la condivisione di file (tranne BitTorrent) Storia: Nel 2001: nasce da ulteriori sviluppi della rete nutella con l obietivo di migliorane la scalabilità Da allora: nutella 0.6 (aka nutella II) è disponibile sotto diverse implementazioni (Limewire, bearshare, ) Sviluppi ulteriori del protocollo (privac, scalabilità, performance, ) nutella2: meglio un uovo oggi. L obbiettivo della lookup in nutella è trovare tutti i peer che dispongono di un determinato oggetto (non ci sono limitazioni sul tempo); L obbiettivo della lookup in nutella2 è trovare, nel minor tempo possibile, almeno un peer (se c è) che dispone di un determinato oggetto; una volta trovata un istanza dell oggetto desiderato è possibile scegliere se fermarsi o continuare la ricerca; L abilità di trovare almeno un istanza di un oggetto è molto importante, altrimenti non sono possibili altre azioni; Bisogna trovare un modo per tenere sotto controllo la ricerca; 38 nutella2: Ricerca Soluzione? P2P Ibrido: nutella2 organizza i nodi in un sistema gerarchico a due livelli dove i nodi ad alta capacità chiamati rispondono alle quer per le proprie foglie; La restizione della rete agli è P2P; vantaggi: Viene ridotto il numero totale dei nodi da contattare; Un contiene informazioni relative a tanti oggetti, quindi è maggiore la probabilità che una quer trovi un istanza di un oggetto; E possibile avere informazioni su nodi down; 39 nutella2: Ricerca Per evitare che questo sistema degeneri in un sistema centralizzato viene limitato il numero di leaves per ogni hub;(circa 150) La comunicazione fra leaves e hub è diretta; Problema Inter ; 0 nutella2: Inter- nutella2: Inter- Ogni hub conosce solo i propri vicini; Quando un hub riceve una quer dal nodo di origine, oltre a elaborarla, la inoltra ai propri vicini che non la inoltrano ulteriormente; (in pratica TTL = 2) Ad esempio se la ricerca viene inviata ad un hub che ha 5 vicini in un solo passo (con una quer) vengono analizzate le foglie relative a 6 hub; L insieme dei nodi raggiunto in un passo viene chiamato cluster; Quando un nodo richiede la ricerca di un oggetto al proprio hub: Viene ricercato l elemento nel proprio cluster Viene ricercato l elemento nei cluster vicini (a distanza 1) più qualche cluster lontano scelto a caso; Viene ricercato l elemento nei cluster vicini dei vicini (a distanza 2) più qualche cluster lontano scelto a caso; 1 2 7

8 nutella2: Inter- nutella2: Inter- tr list cluster Ogni hub mantiene la lista degli hub vicini (direttamente connessi) più una cache di hub lontani aggiornata di tanto in tanto; Viene mantenuta una done list; Le ricerche all interno del cluster sono fatte usando TCP; Le ricerche fra cluster sono fatte usando UDP; UDP SEARCH TCP SEARCH 3 nutella2: Inter- nutella 0.6: Messaggi Richiesta di contenuti e risposta (come in nutella 0.) _HIT (come in nutella 0.) Ogni hub deve mantenere quindi: PIN (come in nutella 0.) PON (come in nutella 0.) la lista dei propri vicini; una lista di hub lontani (da aggiornare di tanto in tanto); una done list (i nodi a cui abbiamo inviato una quer più i loro vicini); una tr list; (i vicini dei vicini dei nodi a cui abbiamo inviato una quer); per ogni quer L2 L1 S1 S2 L7 L6 nu-con OK PIN PIN RTU PIN PIN PON PON PON PON PON 5 Infinit n+ Edonke Kazaa/FastTrack Emule OpenNap L5 L L3 S3 Table_Length Altre applicazioni basate su sistemi P2P con Superpeer L6 S2 L3 1 ROUTE_TABLE_UPDATE (0x30), Patch variant(0x1): per aggiornare la tabella relativa ad un nodo Seq_No Seq_Size Compressor Entr_Bits DATA 0 Variant L7 S1 L2 0 Variant 5 S3 L1 Pubblicazione dei contenuti ROUTE_TABLE_UPDATE (0x30), Reset variant (0x0): per cancellare la tabella relativa ad un nodo. nutella 0.6: Esempio sequenza messaggi Keep alive: L5 L 8

9 Sistemi P2P con Superpeer: Conclusioni Svantaggi Sebbene l utilizzo dei Superpeer riduce il numero dei messaggi scambiato, tale numero risulta essere ancora troppo alto I Superpeer devono essere + efficienti dei classici Peer (non è proprio un sistema P2P secondo la definizione classica) Il carico sui nodi non è bilanciato (I Superpeer devono sopportare un carico maggiore) La rete di overla non è ottimale (utilizzare una DHT è meglio) Sono ancora possibili delle path a zigzag Non è possibile adattare la rete di overla alla rete sottostante a causa della sua struttura ad hub Vantaggi Non c è un punto singolo da attaccare Forniscono anonimia Permettono la creazione di gruppi di interesse Aree di Applicazione File sharing Servizi di anonimia P2P(file-storage-service): FreeNet Ogni nodo mette a disposizione un po di spazio; Le operazioni possibili sono get e put di un file; Per aggiungere un nuovo file si invia un send message nella rete e un identificatore UID (lobal Unique Identifier) in base al quale il file viene memorizzato in un insieme di nodi (Data Partition); Per recuperare un file basta inviare un messaggio di richiesta contenente il UID del file; Servizi aggiuntivi: Persistenza; Anonimia; 50 P2P: FreeNet(Routing) Conclusioni 51 I sistemi P2P non strutturati permettono di creare reti di overla in grado di sfruttare le risorse disponibili presso tutti I Peer del sistema Sfortunatamente, a causa della loro struttura, questi sisteme generano un numero di messaggi elevato, E possibile ridurre il numero di messaggi generato da tali sistemi, mediante sistemi gerarchici, meccanismi di compressione oppure protocolli consapevoli della topologia della rete. Vantaggi: Il principio di base è davvero semplice (semplici da implementare) Buona affidabilità Resistenza verso attacchi tipo Denial of Service attacks (DOS) Non ci sono colli di bottiglia Sono abbastanza Scalabili SI possono utilizzare in un gra numero di applicazioni (non solo File Sharing) razie per l attenzione 53 9