Big Data e il monitoraggio di infrastrutture di rete geografiche

Transcript

1 Big Data e il monitoraggio di infrastrutture di rete geografiche L esperienza di GARR Speaker: Fabio Farina (fabio.farina@garr.it) Contributi di: Massimo Carboni, Mauro Campanella, Pasquale Mandato, Cristiano Valli Workshop «Big Data e la forza degli eventi» Università degli Studi di Milano-Bicocca, 1 marzo 2013

2 Outline Presentazione di GARR I servizi La dorsale GARR-X Monitoring nelle reti backbone Perché e come Stato degli apparati di rete Raccolta e analisi del traffico a flussi Il monitoring nell era della virtualizzazione L esperienza del progetto FEDERICA 2

3 Consortium GARR Consortium GARR è la rete Italiana della Ricerca È un organizzazione non-profit sotto l egida del Ministero dell Istruzione dell Università e della Ricerca I Soci fondatori sono: Consiglio Nazionale delle Ricerche, CNR Ente Nazionale per le Energie Alternative, ENEA Congrega dei Rettori delle Università Italiane, Fondazione CRUI Istituto Nazionale di Fisica Nucleare, INFN La sua missione è la gestione e l evoluzione della dorsale a banda ultra-larga nazionale per la Ricerca, l Università e i servizi associati GARR partecipa anche a progetto Nazionali e Europei R&D di networking, Future Internet Progetti legati alla comunità biomedica, ai beni culturali, ai conservatori, 3

4 La dorsale in fibra GARR-X I numeri di GARR-X 50 Punti di Presenza 500 Gbps aggregati di backbone 280 Gbps aggregati degli accessi km backbone e di accesso Prestazioni di banda minimo 10 Mbps per l accesso degli enti soci minimo 10 Gbps per i link di backbone 100 Gbps max su singolo link di backbone La comunità oltre 500 le sedi connesse alla rete 2,5 milioni di docenti, ricercatori, studenti 100 Petabyte il volume totale di traffico nel 2012 Un approccio BigData «puro» non è applicabile Velocità e Volume, minore Variabilità 4

5 I servizi di GARR Funzionamento della rete GARR-NOC: Network Operations Center GINS: Monitoring della rete GARR GARR-NIC/LIR: assegnazione nomi di dominio e IP Sicurezza GARR CERT: Servizi di sicurezza di rete SCARR: Scansioni Ripetute a Richiesta Gestione di identità e mobilità eduroam: supporto alla mobilità degli utenti GARR IDEM: Autenticazione e Autorizzazione federata Servizi applicativi FileSender: il servizio GARR per l'invio di file grandi GARR-VCONF: servizio di multi-videoconferenza GARR MIRROR 5

6 Cosa è il monitoring? A cosa serve?

7 Chi? Cosa? Dove? Come? Quando? Chi sta accedendo la rete? Studenti, Professori, Personale, Visitatori o altro Motivi dell accesso alla rete? Studi Accademici, Informazioni Generali, Affari, Uso Illegale Da dove stanno accedendo alla rete? Interno, Esterno Come stanno accedendo alla rete? Utenza Remota, LAN, WAN, Wi-Fi, VPN, IPSec/SSL Quando hanno acceduto alla rete? Oggi, Ieri, da una settimana, da un mese 7

8 Chi gestisce la rete è interessato a: Protocolli di di di routing Qualità del servizio Diagnostica dei Guasti Gestione dei Servizi Gateway 1 Gateway 2 Precisione Precisione Efficienza Efficienza Asimmetrie Fattibilità 8

9 Fornitore Utente Servizio Agreement Verifica 9

10 La necessità di misurare Ogni volta che si vuole dare una valutazione oggettiva Requisito vs Misura Per ogni servizio ci sono delle grandezze che ne determinano caratteristiche, obiettivi e successo Non si parla di assenza di servizio ma di misura della CONFORMITÀ rispetto a quanto richiesto Quindi con la misura si possono ottenere Valutazione del servizio erogato Ma anche supporto alla pianificazione per chi gestisce la rete per l'utenza, comprendere meglio come gestire le applicazioni 10

11 Active Passive Monitoring Active Monitoring Spedizione di dati rappresentativi del traffico di rete Si misura il comportamento Vengono definite metriche End-to-End Proactive troubleshooting Passive Monitoring Si osserva il traffico reale Da un punto di rete No traffic No conclusion 11

12 Il strumenti di monitoring in GARR-X 12

13 Misure: uso e tecnologie Il punto di vista di chi amministra la rete, il NOC Assicurarsi che i dispositivi funzionino come atteso Sfruttare al meglio e bilanciare le potenzialità delle risorse disponibili Investigare e risolvere rapidamente incidenti o eventuali attacchi Il punto di vista di usa la rete Richieste fortemente dipendenti dalla applicazione Per i data transfer massivi massimizzare la banda è il goal Per le video-conferenze, lo streaming e la telemedicina sono sensibili alle latenze Strumenti devono Permettere di misurare ciò che è rilevante Presentare le informazioni in armonia al modus operandi di chi le osserva 13 Nome Cognome Occasione, Luogo, gg.mm.anno

14 Stato degli apparati di rete Vitale prima di tutto percepire lo stato di salute degli apparati di rete 614 dispositivi a tutti i livelli: ottico WDM, switching, routing Lambda, peering BGP, MPLS/LSP e relativi servizi di VPN Architettura di monitoring basata su Splunk Monitoring passivo raccolto ai server della Direzione Sonde remote syslog con datagrammi UDP 14

15 GARR Integrated Networking Suite - GINS Suite software sviluppata ad hoc: parte integrante del sistema informativo di GARR Strumenti di monitoring/statistica/diagnostica e tracking dei problemi Stato e prestazioni costantemente monitorati Garanzia di efficienza per l Università e della Ricerca italiana Strumento di indagine e di pianificazione Sistemi di acquisizione e visualizzazione delle statistiche di traffico Statistiche accessi utente, ordinate per PoP di Livello 3 e 2 Backbone, Peering e Weathermap Reportistica dell attività di rete Report specifici su richiesta Report periodici sullo stato e l utilizzo della rete 15

16 GARR Integrated Networking Suite - GINS 16

17 GARR Integrated Networking Suite - GINS 17

18 Tecnologie abilitanti: misure passive Raccolta, aggregazione e analisi del traffico in transito Visione mediata nel tempo: SNMP Campionamento statistico: Netflow Visione parziale della reltà Potenziali problemi di scalabilità nell analisi Concetto di flusso Source IP Dest IP Source Port Dest Port TCP/UDP flag ToS bits Type of Service Logical Interface Index 18

19 GINS e il monitoring a flussi 19

20 Tecnologie abilitanti: misure attive Attività di tipo intrusivo, ovvero si mescola con il traffico di produzione (pregiato) È un modello di monitoring di tipo perturbativo Bisogna avere l'accortezza di non diventare motivo di disservizio Auto-Denial of Service Cosa possiamo misurare in questo modo? Informazioni temporali Delay // Jitter // Drop Misura della banda disponibile verso punti prestabiliti di rete Valutare la reale disponibilità di banda ad un istante determinato Nessuna capacità predittiva solo verifica puntuale 20

21 Reaction Trigger to Events Il sistema manda messaggi di Trap scatenati da alcuni eventi: Connection Loss and Timeout Round Trip Time Threshold Average Jitter Threshold Unidirectional packet loss, latency, jitter Trigger Immediate Consecutive X of Y times Average Exceeded Threshold Violation Alert No Alert Threshold Violation Alert 100 ms 50 ms Time Threshold violation Resolution 21

22 Il monitoring nelle cloud L esperienza nel progetto FEDERICA 22

23 Il progetto FEDERICA FEDERICA = Federated E-infrastructure Dedicated to European Researchers Innovating in Computing network Architectures Deploy and manage an e-infrastructure based on virtualization in both computers and network elements as a fundamental tool/playground for researchers on current and Future Internet, its uses and technologies. Researchers has complete control of their set of resources (a slice ) with minimal of constraints to enables disruptive experiments at all communication layers over a realistic substrate. Router/Switch Host for Virtual nodes Ethernet 1 Gbps Focus on reproducibility of the experiments and in the avoidance of complexity. 23

24 La facility FEDERICA Ogni PoP è equipaggiato con device con supporto alla virtualizzazione Nodi Macchine Virtuali su Vmware 5.0 Router Logici su Juniper MX480 Circuiti fra PoP 1Gbps (IP/MPLS) Circuiti virtuali Una VLAN di management per ogni slice User Access Gateway VM Numero VLAN variabile per il traffico dati a discrezione dello esperimento 24

25 FEDERICA come servizio FEDERICA è sia una infrastruttura sia un servizio Molteplici punti di vista: il gestore, gli utenti, i servizi di provisioning Il NOC Garantire il corretto funzionamento della facility Soddisfare richieste di progetti con esigenze peculiari I ricercatori della comunità Future Internet Topologia scelta dall utente Garanzie di banda, latenza e jitter a seconda dell esperimento Riproducibilità e isolamento, se richiesti Il sistema di provisioning delle slice Trovare la mappatura ottimale delle slice sul substrato bilanciando le risorse ed evitando overlap 25

26 Prospettive differenti In FEDERICA esistono sempre due prospettive Il piano di substrato fisico e quello virtuale delle slice Conseguentemente si hanno due piani di monitoring 26

27 Il monitoring in FEDERICA L`effetto della virtualizzazione è un fattore moltiplicativo sul volume di dati prodotti dall infrastruttura Piattaforma G3 (CESNET) aggregazione e presenta de dati Del substrato fisico Monitoring passivo: SNMP, VMware monitoring rcli, Netflow Monitoring attivo: tool ad hoc HADES per il NOC Delle risorse virtuali in ogni slice Consumo CPU, RAM, disco e rete di ogni VM Flusso di rete di ogni virtual router e consumo di banda 27

28 FEDERICA: i numeri di G3 Entità osservate: 9 parametri per ogni entità Strato fisico: 9 PoP collegati con 13 circuiti, 9 device di rete dedicati, 14 hypervisor, 1049 interfacce Strato virtuale: 11 slice statiche, 66 VM, circa 15 slice dinamiche (30 VM e 15 logical router) Granularità e scala 20 sec, periodo 5 min Misure distribuite nel giorno per evitare sovraccarichi Resultati Grafici RRD grafici di substrato 126 grafici sugli hypevisor grafici per le slice degli utenti 28

29 Conclusioni GARR fa convergere al meglio i requisiti posti dalla comunità e le risorse disponibili definendo e mantenendo i propri servizi Profonda comprensione di cosa misurare e come ottenerlo Ci permette di offrire una rete ottima per le esigenze delle comunità della Ricerca e dell Università Italiana Pieno controllo della rete La complessità Deriva dai differenti punti di vista che i servizi devono considerare e privilegiare Solo in seguito arrivano le tecnologie per la raccolta e l aggregazione La mole delle informazioni, il Big Data, è una conseguenza della complessità degli obiettivi e della collaborazione tra le persone 29

30 Conclusioni Grazie per l attenzione Domande? Per maggiori informazioni: fabio.farina@garr.it 30