Analisi di soluzioni open-source e commerciali per la raccolta e gestione dei log

Transcript

1 Scuola Politecnica e delle Scienze di Base Corso di Laurea in Ingegneria Informatica Elaborato finale in Programmazione II Analisi di soluzioni open-source e commerciali per la raccolta e gestione dei log Anno Accademico 2014/2015 Candidato: Cristian Tommasino matr.n46/001283

2 qui va la dedica

3 qui va una frase qui va una frase

4 Indice Introduzione vii 1 Log, software per l analisi dei log, analisi dei guasti Log e analisi dei guasti Software di analisi e raccolta log Soluzioni open-source Logstash LOGalyze Fluentd Graylog Soluzioni commerciali Splunk Loggly Sumo Logic Logentries Confronto Contronto Conclusioni 24 iii

5 Indice Ringraziamenti 25 Bibliografia 26 iv

6 Elenco delle figure 1.1 Un esempio di log Schema dell analisi dei guasti Loghi di alcuni software di log analysis Logo di Logstash Schema file logstash elasticsearch kibana Logo di Elasticsearch Esempio di dati visualizzati attraverso Kibana Logo di LOGalyze Architettura di LOGalyze Esempio di dashboard di LOGalyze Logo di Fluentd Schema di FLuentd Plugin di geo-localizzazione degli indirizzi ip Logo di Graylog Impostazioni minime di Graylog Dashboard di Graylog Logo di Splunk Enterprice Schema di raccolta dati di Splunk Un esempio di interfaccia utente di Splunk Enterprice v

7 Elenco delle figure 3.4 Logo Loggly Esempio dashboard di Loggly Logo di Sumo Logic Sumo Logic: Amazon S3-Overview Logo di Logentries Dashboard di Logentries Tabella confronto vi

8 Introduzione Fin dalla nascita di sistemi informatici si é avuta la necessitá di tener traccia di tutte le operazioni che vengono effettuate da una macchina o da un insieme di macchine in modo da poter avere a disposizione la sequenza di operazioni effettuate, e in caso di fallimento poter trovare in modo piú semplice possibile l errore, qui abbiamo la nascita dei log. Quindi i log sono dei file in cui vengono catturate tutte le operazioni effettuate da una macchina. Con l avvento dei sistemi complessi si é avuta la necessitá di poter trattare i file log in modo piú semplice, poiché l analisi di un solo file log, non essendo banale non eńemmeno complessa, ma analizzarne 100 o 1000 eímpensabile quindi sono stati creati dei sotfware che raccolgono e aiutano ad analizzare file log. Si pensi che nei sistemi complessi per analizzare file log si utilizzano delle tecniche come l analisi dei guasti (faluire analysis), la quale richiede la raccolta dei log prima di poterli analizzare, quindi i moderni sotfware aiutano l uomo nella ricerca degli errori o semplicemente a tirare fuori delle statiche, e lo fanno attraverso delle interfacce grafiche di facile utilizzo. Esistono tantissimi software per la gestione e la raccolta dei log alcuni, come Splunk, commerciali ed altri, come Logstash, open-source. Nelle prossime pagine cercheremo di descrivere alcuni software e cercheremo di mettere in evidenza le loro caratteristiche principali ed infine cercheremo di fare un confronto. vii

9 Capitolo 1 Log, software per l analisi dei log, analisi dei guasti Ora, per capire meglio, inizieremo a spiegare cosa sono i log e a cosa servono, parleremo in generale dei software utili per la raccola e gestione dei log, spiegheremo una tecnica di log analysis, la failure analysis (analisi dei guasti). 1.1 Log e analisi dei guasti Gli event logs, o semplicemente logs, rappresentano una risorsa chiave di dati poiché memorizzano informazioni testuali riguardo ad eventi regolari o anomali catturati da un sistema durante l esecuzione[1]. I log hanno avuto molto successo sia nell industria che nella didattica, infatti hanno trovato applicazione in molti domini come per esempio: sistemi operativi, sistemi di controllo, applicazioni a larga scala, database e molti altri. I log solitamente sono costituiti da una grande quantitá di dati organizzati da una sequenza di righe, ogni una delle quali inizia con un timestamp, ovvero 1

10 Capitolo 1. Log, software per l analisi dei log, analisi dei guasti data e ora, e riporta un operazione anomala, quindi un errore, oppure un operazione regolare, possiamo osservare un esempio di log nella figura 1.1. Figura 1.1: Un esempio di log Una tecnica che fa uso di log é l analisi dei guasti solitamente composta da tre passi: raccolta, manipolazione e analisi [1], come schematizzato in figura 1.2. Figura 1.2: Schema dell analisi dei guasti Nella prima fase abbiamo la raccolta delle informazioni provenienti in molti casi anche da terminali differenti la raccolta dei dati viene effettuata in base a dei protocolli di seguito ne vedremo alcuni. UNIX syslog [1] definisce un formato log e un protocollo di raccolta divenuto uno standard de facto negli anni. Un altro protocollo e Microsoft Event Log [1], ogni macchina ha in esecuzione un event log che può essere acceduto da remoto con alcune system call. Un altro protocollo è log4x di Apache Software Foundation. Nella seconda fase abbiamo la manipolazione delle informazioni raccolte nella fase precedente. Possiamo dividere questa fare in due step. Nel primo step abbiamo filtraggio delle informazioni e nel 2

11 Capitolo 1. Log, software per l analisi dei log, analisi dei guasti secondo raggruppamento delle informazioni filtrate. La tersa fase, quella di analisi, abbiamo una vista grafica dei dati. A supporto di tutto ciò che abbiamo detto fino ad ora si utilizzano dei software che aiutano l utente o il tecnico in tutte le fasi della analisi dei guasti e permettono di effettuare altre operazioni. 1.2 Software di analisi e raccolta log Figura 1.3: Loghi di alcuni software di log analysis Esistono svariati software che permetto di raccogliere e analizzare log alcuni sono commerciali ed altri open-source ogni uno di essi possiede delle caratteristiche diverse in base a come raccolgono i log, ai metodi di filtraggio di dati, ai diversi tools statistici con diverse interfacce grafiche. Nei capitoli successivi cercheremo di descrivere alcuni software analizzando le caratteristiche principali di ogni uno di essi e differenziandoli tra opensource e commerciali. Nel prossimo capitolo inizieremo a trattare i sotfware 3

12 Capitolo 1. Log, software per l analisi dei log, analisi dei guasti open-source per poi trattare quelli commerciali ed infine confrontarli in base ad alcune qualitá e caratteristiche oggettive e soggettive. 4

13 Capitolo 2 Soluzioni open-source In questo capitolo descriveremo i seguenti software open-source, dove il termine open-source tradotto letteralmente significa sorgente aperta, quindi non significa che esso é gratuito ovvero non solo, significa che il codice é a disposizione di tutti in modo che chiunque può contribuire allo sviluppo e al miglioramento del sotfware. In questo capitolo prendiamo in considerazione solo quattro software open-source di raccolta e gestione dei log, ma ne esistono veramente tanti. Le applicazioni che andremo a descrivere sono: Logstash, LOGalyze, Fluentd e Graylog. 2.1 Logstash Figura 2.1: Logo di Logstash 5

14 Capitolo 2. Soluzioni open-source Logstash é un progetto open source riguardante il mondo del logging nato dalla mente di Jordan Sissel e dalla fusione dello stesso con Elasticsearch e Kibana dalla quale si conia la pila ELK[2]. Figura 2.2: Schema file logstash elasticsearch kibana Elasticsearch é un motore di ricerca ma non in senso stretto come Google, ma permette di indicizzare grandi quantità di dati e ne facilita la ricerca, permette inoltre di analizzare i dati in tempo reale[3]. Kibana é un tool che permette la visualizzazione dei dati in forma grafica[3]. Inoltre grazie ad altri due prodotti commerciali, Shield e Marvel, si aggiunge sicurezza e monitoraggio[3]. Nella figura 2.4 possiamo vedere due esempi di visualizzazione tramite Kibana. Figura 2.3: Logo di Elasticsearch Logstash é forse uno dei piú grandi rivali open-source dei software commerciali poiché grazie a Elasticsearch riesce a raccogliere una vasta varietá di log, un altro punto a suo favore é dato dalla pagina di ricerca la quale e semplice grazie ad una ricerca full-text, caratteristica ottenuta grazie ad Elasticserch. La pila ELK mette a disposizione in oltre anche un servizio 6

15 Capitolo 2. Soluzioni open-source Figura 2.4: Esempio di dati visualizzati attraverso Kibana di geo-localizzazione di indirizzi ip, un sistema di alerting ottenuto grazie al tools Watcher e molti altri metodi[5][4].per gli archivi dati e possibile utilizzare HDFS, Amazon S3 e Google Cloud Storage.Dal punto di vista della documentazione eóttimo ha a disposizione anche una community e sul sito ufficiale[6] ci sono a disposizione dell utente tutte le informazioni utili per poterlo utilizzare al meglio. Questo software ha a disposizione molti plugin poiché molti di essi vengono sviluppati da terzi essendo un prodotto open-source. Un altro pregio e il costo é completamente gratuito. 2.2 LOGalyze Figura 2.5: Logo di LOGalyze LOGalyze é un software open-source di gestione e analisi log come tut- 7

16 Capitolo 2. Soluzioni open-source ti i software suoi simili eún aggregato di tools che permettono di raccogliere e gestire log. Figura 2.6: Architettura di LOGalyze Nella figura 2.6 vediamo uno schema dell architettura di LOGalyze, il quale mette in evidenza le maggiori caratteristiche di questo software tra le quali: raccogliere un vasto insieme di log, visualizzare statistiche multidimensionali, sistema di alerts e notifica e un serivizio web SOAP(Simple Object Access Protocol) il quale permette di comunicare con l applicazione tramita un interfaccia web basata sullo scambio di messaggio (per maggiori dettagli [6]). Nella figura 2.7 possiamo osservare uno screenshot della dashboard di LOGalyze. Riguardo la documentazione ha un datasheet e un manuale 8

17 Capitolo 2. Soluzioni open-source Figura 2.7: Esempio di dashboard di LOGalyze per l installazione sintetici ed essenziali ma sul sito ufficiale si può trovare anche una community nella quale si possono trovare soluzione a diversi problemi relativi al software o semplicemente delle informazioni mentre per un manuale bisogna rivolgersi al web. Non si trovano molti plugin per questo software, ad esempio utilizza plugin per il sistema di alerting. LOGalyze é un sotfware con licenza gratuita questo resta sempre un punto di forza di questo software e di quasi tutti quelli open-source. 2.3 Fluentd Fluentd é un buona soluzione open-source per quanto riguarda il log analysis, una delle sue caratteristiche migliori e l architattura a plugin che grazie agli oltre 300 plugin che ci sono a disposizione risulta molto estensibile[7]. Fluentd fu concepito di Sadayuki Sada Furuhashi nel 2011[8]. Sada eíl cofondatore di Treasure Data Inc.[8]. 9

18 Capitolo 2. Soluzioni open-source Figura 2.8: Logo di Fluentd Figura 2.9: Schema di FLuentd 10

19 Capitolo 2. Soluzioni open-source Nella figura 2.7 possiamo osservare lo schema di Fluent che si presenta come un sistema centralizzato ovvero abbiamo dei file log di diverso tipo in ingresso al software che funge da filtro, buffer o ruting verso archivi cloud come Amozon S3 e oppure memorizzati in DB e analizzati.i dati raccolti possono essere inviati verso database (MangoDB) con l usilio di un fremework per la gestione dei dati(apache Hadoop) e possono essere ricercati tramite l utilizzo di un motore di ricerca (Elasticsearch), inoltre possiamo ottenere anche un servizio di memorizzazione Cloud (es. Amazon S3)[9]. Fluent dispone in oltre di un sistema di alerting. Possiamo notare nel sito web del software[10] che é presente una buana guida esaustiva per l installazione e per l utilizzo. La visualizzazione dei dati puó avvenire con diversi plugin nella figura 2.8 vediamo uno screen-shot del plugin di geo-localizzazione degli indirizzi ip. Questo software é gratuito. Figura 2.10: Plugin di geo-localizzazione degli indirizzi ip 2.4 Graylog Graylog é un progetto nato nel 2009 iniziato da Lennart Koopmann[11]. 11

20 Capitolo 2. Soluzioni open-source Figura 2.11: Logo di Graylog Figura 2.12: Impostazioni minime di Graylog 12

21 Capitolo 2. Soluzioni open-source Nella figura 2.12 possiamo osservare l architettura generale nel caso di una configurazione minimale di questo software,dove al centro abbiamo il componente principale, graylog2-server,che comunica con l interfaccia web, graylog2-web-interface, tramite le REST APIs, un nodo Elasticsearch come server di ricerca e MangoDB per memorizzare le informazioni. Ovviamente questo software permette anche una configurazione per sistemi complessi, dove é privisto un un bilanciamento di carico su diversi server graylog e un cluster Elasticsearch. L utilizzo di Elastichsearch lo rende molto flessibile nelle ricerche grazie alla funzione di ricerca full-text. Non manca estensibilitá grazie ai vari plugin a disposizione. Nella figura 2.14 possiamo vedere un esempio di dashboard. Figura 2.13: Dashboard di Graylog Abbiamo anche a disposizione come in tutti i sui simili un sistema di alert e come qusi tutti i software open-source é free. Per quanto riguarda la documentazione é il sito mette a disposizione il manuale ufficiale, che risulta esaustivo e chiaro sotto tutti i punti di vista, inoltre abbiamo un blog ed una community. 13

22 Capitolo 3 Soluzioni commerciali Nel capito precedente abbiamo analizzato i software open-source, in questo capitolo parleremo e descriveremo i seguenti software commerciali: Splunk Enterprice, Loggly, Logentries e Sumo Logic. 3.1 Splunk Figura 3.1: Logo di Splunk Enterprice Splunk Enterprice é un prodotto software della Splunk Inc. una multinazionale americana che si occupa della produzione di software per monitoraggio, ricerca e analisi di big data tramite interfacce stile web. Questo 14

23 Capitolo 3. Soluzioni commerciali sotfware é uno dei migliori strumenti per la gestione dei log. Splunk é un software on-premise[12] ovvero eún software che viene installato direttamente sulla macchina su cui eín esecuzione con conseguenti pro e contro ovvero: si ha un controllo totale del sotfware e lo si possiede realmente ma ci sono dei tempi di startup piú lunghi, un nuovo aggiornamento richiede nuovi investimenti e c é bisogno di personale qualificato interno.negli ultimi anni l azienda ha reso disponibile anche una versione Cloud del software, quindi al consumatore viene data la possibilitá di scegliere tra due diverse configurazioni in base alle esigenze. É forse lo strumento piú ricco di funzionalitá non ci sono dati che non possono essere raggiunti attraverso la sua interfaccia grafica o le sue API[13], da la possibilitá di raccogliere dati sia da locale che da remoto, inoltre offre una scalabilitá a livello aziendale e una sicurezza basata sui ruoli[13], é a tutti gli effetti uno strumento aziendale utilizzato da molto multinazionali. Splunk essendo prodotto da un grande multinazionale usa interfacce e database propri e questo forse motivo per cui é ben integrato e compatto. Ha inoltre un interfaccia semplice da utilizzare pulita e intuitiva. I costi di Splunk essendo un sotfware proprietario variano dai circa 1800$ ai 60000$ per anno il prezzo varia in base alla quantitá di giga da indicizzare. 3.2 Loggly Loggly é un sotfware di analisi e gestione dei log cloud-based, e di tipo SaaS (Service as a Service), creato nel 2009 da Jon Gifford, Raffael Marty e Kord Campbell[14]. Questo software non usa dei prodotti proprietari per raccogliere dati dai log ma usa delle tecnologie open-source come Elasticsearch, Apache Lucene 4 e Apache Kafka[15]. La documen- 15

24 Capitolo 3. Soluzioni commerciali Figura 3.2: Schema di raccolta dati di Splunk Figura 3.3: Un esempio di interfaccia utente di Splunk Enterprice 16

25 Capitolo 3. Soluzioni commerciali Figura 3.4: Logo Loggly Figura 3.5: Esempio dashboard di Loggly tazione di loggly é esaustiva e inoltre dispone di una community forum dedicato in cui si possono trovare soluzioni a problemi e porre dei quesiti riguardanti i propri problemi.nelle versioni piú costose é compreso anche Amazon S3 un archivio cload in cui si posso memorizzare i dati raccolti. La dashbord e personalizzabile e come tutti i software suoi simili si possono visualizzare le statiche interessate. Ci sono a dispozione dell utente che anche delle API attraverso le quasi eṕossibile accedere a diverse tipologie di dati.nell immagine possiamo vedere un esempio di dashboard di Loggly. Il costo di Loggly varia dai 45$ hai 349$ per mese che possono aumentare in base al necessitá di volume[16]. 17

26 Capitolo 3. Soluzioni commerciali 3.3 Sumo Logic Figura 3.6: Logo di Sumo Logic Sumo Logic viene creato nel 2010 da Kumar Saurabh e Christian Beedgen[17],é un software di analisi e gestione dei log cloud-based. Sumo Logic é formato da diversi tools per l analisi dei log tra i quali: Amazon S3 Log Analyzer, Linux Log Analyzer, Apache Log Analyzer, Windows Log Analyzer, MySQL Log Analyzer e altri[20]. Quindi in base al tool che utilizziamo possiamo analizzare un dirverso tipo di log e per tutti abbiamo un servizio di geo-localizzazione, statistiche e possibilitá di ricerche con filtri. Figura 3.7: Sumo Logic: Amazon S3-Overview La documentazione riguardo a questo sotfware non é delle migliori nel sito ufficiale non c é un sezione visibile che salta all occhio su dove cliccare per avere accesso ai documenti e comunque una volta trovata la 18

27 Capitolo 3. Soluzioni commerciali navigazione é ostica. Il costo di Sumo Logic va dai 90$ al mese ai 1800$ al mese in base alla necessitá di giga da indicizzare[13]. 3.4 Logentries Figura 3.8: Logo di Logentries Logentries é un software SaaS di tipo cloud-based per la gestione e raccolta dei log[17]. Questo software fu fondato nel 2010 a Dublino da Villam Holub e Trevon Parsons[17]. Nel sito ufficiale nel sezione product explorer[18] possiamo vedere le principali caratteristiche di questo software, le quali sono la visione live dei log, una barra di ricerca avanzata ed intelligente, un sistema in tempo di reale di alerts, e come visibile nella figura 3.9 una dashboard che si presenta amichevole. Figura 3.9: Dashboard di Logentries 19

28 Capitolo 3. Soluzioni commerciali Non ci sono a disposizione molti plugin anche perché essendo un software proprietario possono essere rilasciati solo dall azienda di appartenenza. Sul sito ufficiale[18] nella sezione docs ci sono tutorial e informazioni utili per l installazione e utilizzo del software comprese le informazioni riguardandi le API disponibili. Il costo di questo software va dai 44$/mese ai 439$/mese che possono aumentare in base alla necessitá di volume([18] sezione precing). 20

29 Capitolo 4 Confronto 4.1 Contronto In base a quanto detto nei capitoli precedenti metteremo a confronto i diversi software prendendo in considerazioni alcuni fattori che potrebbero determinare la qualitá del software. Nella tabella 1.1 possiamo osservare un sunto di quanto detto nei capitoli precedenti. Una delle prime cose che viene spontaneo osservare é il costo dei prodotti suggeriti se si va sull open-source il costo é nullo se non per supporti professionali, che vogliamo ricordare essere un modo per l open-source per autofinanziarsi, mentre su quelli commerciali i costi sono notevolmente altri naturalmente risultano essere soluzioni piú affidabili e sicure, cé anche da considerare per cosa stiamo utilizzando questo determinato software per uso aziendale un software commerciale é migliore in quanto c é maggiore garanzia del prodotto e un supporto migliore naturalmente pagando le dovute somme di denaro. Vediamo inoltre dalla figura che ci sono software di tipo onpremises e cloud-based, anche se negli ultimi anni cloud-based va per la maggiore, l obsoleto on-premises resta comunque competitivo se non addi- 21

30 Capitolo 4. Confronto 22

31 Capitolo 4. Confronto rittura superiore sotto alcuni punti di vista, per prima cosa si possiede il sotfware mentre un cloud-based si ha solo un istanza del software sulla propria macchina ma comunque avere un software cloud velocizza i tempi di installazione e di pre-installazione in quanto non bisogna preparare l hardware che necessita al funzionamento del software. Un altro punto chiave e la documentazione un software ben documentato e migliore poiché utente che si trova nel suo utilizzo, specie se il primo, non trova difficolta nel suo utilizzo, qui ad eccellere ci sono sia applicazioni open-source che commerciali da come possiamo notare. Possiamo analizzare anche la possibilitá del software di essere esteso tramite dei plugin, per quelli open-source in genere ne esistono molti anche sviluppati da terzi ma purtroppo non sempre affidabili, c é anche da notare che uno dei software analizzati ha un modello a plugin ovvero Fluentd. 23

32 Capitolo 5 Conclusioni Nei capitoli precedenti abbiamo analizzati diversi software per la gestione e la raccolta dei log, ma non possiamo dire di preciso se c é un software migliore su tutti poiché ne esistono molto altri forse migliori forse peggiori. Da una breve indagine sul web emerge che a livello commerciale forse il piú affidabile e Splunk Enterprice e il suo rivale Logstash. C é da dire che Splunk eún veterano rispetto a Logstash essendo esso un progetto giovane che nonostante tutto sembra affidabile e ben documentato, e grazie a Elasticsearch a Kibana ha sembra aver trovato un mix perfetto che potrebbe dare filo da torcere a un colosso come Splunk. Non sono da mettere tutti gli altri che abbiamo analizzato che fanno comunque il loro dovere ma forse i due sopra citati hanno una marcia in piú. 24

33 Ringraziamenti 25

34 Bibliografia [1] Antonio Pecchia, Marcello Cinque, Log-Based Failure Analysis of Complex Systems: Methodology and Relevant Applications, Dipartimento di Informatica e Sistemistica (DIS) Universitá degli Studi di Napoli Federico II. [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] Manuale di Graylog, [13] [14] [15] 26

35 Bibliografia [16] Infrastructure at Scale: Apache Kafka, Twitter Storm & Elastic Search. November 29, Retrieved November 12, [17] [18] Nicora, Hope (January 31, 2012). Sumo Logic Raises $15M Series B Round for Next Generation Log Management and Analytics. Market Wired. [19] [20] [21] [22] Irish Research Council Alumni News: Logentries Raises $10 Million in Funding. Irish Research Council. Retrieved 6 March