High Speed Traffic Capture with ntop. Riccardo Paterna

Transcript

1 High Speed Traffic Capture with ntop Riccardo Paterna <> 1

2 Who am I? Riccardo Paterna Network Evangelist at ntop.org ( 2

3 Di cosa Parleremo? Il progetto ntop Cattura dei pacchetti accelerata con PF_RING 3

4 Cosa è ntop? ntop è un tool open-source per il monitoraggio passivo del traffico di rete che supporta varie attività di management come ottimizzazione progettazione e sicurezza 4

5 Project History [1/2] 1997 Nasce ntop per il monitoraggio di rete all università di Pisa 1998 prima release pubblica 0.4 (GPL2) Registrazione dominio, creazione mailing-list e porting su varie piattaforme e distribuzioni Linux 5

6 Project History [2/2] Versione 2.x aggiunti supporti per protocolli commerciali NetFlow v5 sflow v Versione 3.x aggiunto il supporto RRD, IPv6 (Loria) e SCSI FibreChannel, Cisco NetFlow v9/ipfix(draft), sflow v5, Voip Consolidazione del progetto, interfaccia web 2.0, PF_RING 3.x, n2n 1.x 6

7 Chi usa ntop? 7

8 top ntop Noto il comando top dei sistemi unix: fornisce in output l utilizzo delle risorse della singola macchina. 8

9 ntop top 9

10 Cosa posso vedere con ntop? [1/2] Distribuzione del traffico per protocollo (TCP, UDP, ICMP, IPX, NetBIOS, Appletalk) Distribuzione del traffico per servizio (broadcast, web, mail, FTP, P2P) Distribuzione del traffico sorgente/ destinazione Matrici Comunicazione ( Chi parla con chi ) 10

11 Cosa posso vedere con ntop? [2/2] Connessioni attive per ogni client della rete La percentuale di banda usata da ogni host Traffico Voip (SIP, Cisco SCCP, IAX2) Storico delle sessioni tcp VLAN/AS Traffic Statistics 11

12 Global Protocol Distribution 12

13 Matrice Comunicazione 13

14 Connessioni per Ogni Hosts 14

15 TCP/UDP Session 15

16 Voip Support 16

17 ntop architecture Basato sulle libpcap Plugins HTTP/HTTPS 17

18 ntop plugins NetFlow : Importa/esporta flussi di traffico e li cataloga per tipologia rrdplugin : Registra i dati della rete e crea grafici a run-time ICMP-Watch : Monitoraggio dettagliato ICMP-Packets NFS-Watch : Network File System Stats 18

19 Monitoraggio e caratterizzazione del Traffico Tutto il traffico di rete monitorato può essere caratterizzato. Flussi di reti (Configurati dall utente) Protocolli utilizzati Matrice del traffico di rete Monitoraggio ARP e ICMP Individuazione dei protocolli P2P (Caida) 19

20 Inventario di Rete [1/2] Mappatura delle strutture di rete : (Router e Web Server, DNS, Proxy) e dei servizi (DNS, Routing) Distribuzione del traffico (Local vs. Remote) Mappa topologica della rete (Graphwiz) 20

21 Network Traffic Map 21

22 Inventario di rete [2/2] Identificazione dei router, Internet Server, DNS, NFS, Proxy Inventario dei servizi attivi e OS per ogni host Host Sospetti 22

23 Host Characterization 23

24 Host Fingerprint 24

25 Host Health 25

26 ntop e problemi di rete Rileva indirizzi ip duplicati. Interfacce in modalità promiscua Dns che non usano la cache Identificazione di subnet, router Host configurati come router Uso eccessivo della banda 26

27 ntop e sicurezza La maggior parte degli attacchi in una rete provengono da se stessa, per questa ragione ntop identifica potenziali buchi di sicurezza come IP spoofing, Denial of service, portscan e attacchi synflood Quando viene individuata una violazione ntop genera un allarme per l amministratore (mail,snmp traps,sms) 27

28 ntop Database Tutte le informazioni di traffico possono essere archiviate su database Lo storico del traffico può essere usato per capire e prevenire gli attacchi. Controllare l evoluzione della propria rete 28

29 Integrazione di ntop nella rete ntop può essere usato come applicazione stanalone (via web) o come collezionatore di traffico ntop può esportare i dati in vari modi : Via SNMP agent (ntop MIB) XML RRD files PHP/Perl/Python/JSON data export Ntop permette all utente di configurare allarmi basati su alcune condizioni di traffico 29

30 Introduzione a Cisco Cisco NetFlow è un standard commerciale per il monitoraggio di rete NetFlow colleziona le informazioni che passano attraverso un router e le esporta in flussi Netflow versione 9 è flessibile ed estendibile tramite template 30

31 Introduzione InMon [1/2] Ntop fa parte del consorzio sflow.org Sflow è uno standard per monitorare reti switchate ad alta velocità basato sul sampling SFlow è simile a NeFlow : il probe invia i flussi di traffico al collezionatore su UDP in formato sflow (RFC 3176) 31

32 Introduzione InMon [2/2] Sflow in a nutshell : Implementato in ogni porta dello swtch Monitorizza i flussi per tutte le porte della rete Lavora a velocità elevate (gigabit) Non influisce sulle perfomance della rete Dati dettagliati in real-time e storico del traffico 32

33 Ntop e NetFlow/sFlow/IPFIX Ntop supporta NetFlow(v1/5/7/9)/IPFIX e sflow(2/5) IPFIX è lo standard IETF per l esportazione dei dati di flusso (NetFlow v.9 Standardizzato) I flussi vengono raccolti su interfacce virtuali definite dall utente in modo indipendente 33

34 NetFlow : Stato dell arte NetFlow è uno standard commerciale per il monitoraggio di rete Molte compagnie (Cisco,Juniper,Extreme) vendono appliances con sonde NetFlow Integrate Molte sonde commerciali hanno scarse performance (~ pkt/sec) NetFlow non riesce a coprire reti a Gbit e copre questa mancanza con (Sampled NetFlow) 34

35 nprobe il probe open source [1/2] La comunità aveva bisogno di un probe open source in grado di esportare i flussi NetFlow in reti di medie e grandi dimensioni nprobe + ntop offrono una soluzione completa : sonda e collezionatore 35

36 nprobe il probe open source [2/2] 36

37 nprobe : Caratteristiche Riesce a monitorare reti a Gbit senza bisogno di sampling Supporta molti S.O. Unix, Windows e MacOS X Pratico ed efficiente progettato per ambienti con risorse limitate Pieno Supporto NetFlow v9/ipfix e personalizzabile tramite plug-in 37

38 Packet Capture: Open Il monitoraggio di rete a bassa velocità (100 Mbit) è già possibile usando hardware comuni e tools basati sulle libpcap Il problema nasce quando dobbiamo monitorare reti ad alta velocità (>300Mbit) perché si ha una grossa percentuale di pacchetti persi Problema : Linux con il kernel vanilla non è in grado di monitorare reti veloci 38

39 Packet Capture : Libpcap 39

40 Packet Capture: Libpcap La tabella illusta la % di pacchetti catturati sul totale inviato (Dati del 2005) 40

41 Obiettivo del Packet Capture Usare hardware comune per catturare pacchetti senza perdite in qualsiasi condizione di traffico Avere CPU libera per analizzare i vari pacchetti (Monitoraggio di traffico, Sicurezza) Permettere la creazione di sonde software con le stesse prestazioni di sonde hardware a costi inferiori 41

42 Socket Packet Ring (PF_RING) mmap() Pacchetti in uscita Userspace Kernel Pacchetti in entrata 42

43 PF_RING : Vantaggi PF_RING crea un path diretto per i pacchetti in entrata in modo da assegnare alta priorità ai pacchetti Non ha bisogno di hardware specifico Trasparente all applicazione: si compila e si usa Non è richiesta programmazione del kernel o a basso livello 43

44 PF_RING : Performance Test effettuato con Celeron 3.2 GHz (Single-core) - IXIA 400 Generatore di traffico Pkt Size Kpps Mpps % CPU Idle Wire- Speed , > 90% Yes ,9 925,9 88% Yes ,1 363,6 86% Yes ,6 864,8 82% Yes 44

45 PF_RING : Considerazioni In grado di catturare 1.1 Mpps su hardware comune con pacchetti di minimo taglio (64 bytes) Disponibile per Linux Kernel 2.4 e 2.6 Indipendente dall Hardware : gira su i386, x86_64, MIPS Disponibile per pc e device embedded (OpenWrt,DD-Wrt,MikroTik routers) 45

46 Stato Dell arte PF_RING 3.7.x Inserimento di filtri nel driver di rete Packet Filtering : i pacchetti vengono filtrati durante la cattura (Bloom) Aggiungere rimuovere filtri dinamicamente Monitoraggio Specifico (Voip,Http) 46

47 Grazie dell attenzione Domande? approfondimenti : 47