Splunk>live! Big data: trasformare log e dati IT da incubo a valore per l azienda. Milano 18 ottobre 2011

Transcript

1 Milano 18 ottobre 2011 Splunk>live! 2011 Big data: trasformare log e dati IT da incubo a valore per l azienda Michele Guglielmo Splunk Country Manager Italia Pier Carlo Devoti Consoft Sistemi Splunk Channel Manager 1

2 Agenda 09:45 Benvenuto e Introduzione 10:30 Splunk in azione 11:00 Banca Popolare di Sondrio: semplificazione del processo di analisi degli incidenti IT 11:20 Coffee Break 11:40 Octo Telematics: l'analisi degli eventi informatici per la gestione della sicurezza stradale 12:00 Dietro le quinte - architettura 12:20 Le apps per estendere la potenza di Splunk 12:50 Q&A 13:00 Pranzo 2

3 Cosa s intende per Big Data? Quando la dimensione dei dati stessi diventa parte del problema * * Mike Loukides O Reilly Radar 3

4 I Dati stanno crescendo in modo esponenziale La maggior parte dei dati sono generati dai sistemi-macchina GPS, RFID, Hypervisor, Web Servers, , Messaging Clickstreams, Mobile, Telephony, IVR, Databases, Sensors, Telematics, Storage, Servers, Security devices, Desktops Tra il 2009 e il 2020 i dati digitali cresceranno di 44x e il CAGR (Compound Annual Growth Rate) del 45% IDC 2010 Storage Market View I dati non strutturati contano per più del 90% nell universo digitale IDC 2011 Digital Universe Study: Extracting Value from Chaos 4

5 I Dati generati dalle Macchine sono Pervasivi Sorgenti generiche Sorgenti IT Sorgenti business Shipping RFID Desktops Web Services Data Warehouse Shopping Basket Cloud Security Developers GPS/Cellular Energy Servers Telecoms App Support Online Services Virtual Manufacturing Networking Messaging Storage Clickstream Physical 5

6 I Dati generati dalle Macchine sono Pervasivi Sorgenti generiche Sorgenti IT Sorgenti business I volumi dati macchina, i tipi di fonti e di dati stanno esplodendo Circa l 80-95% dei dati di un organizzazione non sono strutturati Se conservati, lo sono secondo l approccio silos Nuove tecnologie aggiungono nuovi dati (SmartPhones, sensori, GPS, virtualizazione, cloud) I trend di Mercato rendono questi dati interessanti per il business Ognuno contiene una categorizzazione di attività e comportamento 6

7 I dati macchina non hanno standard Ad esempio un log di una applicazione custom: Formato sconosciuto e non documentato ogni evento può essere distribuito su più righe Applicazioni esistenti possono essere modificate e generare nuovi eventi I tool di management tradizionali si appoggiano a schemi rigidi che vengono meno quando il formato cambia ####<Sep 24, :52:38 PM PDT> <Warning> <EJB> <virt3> < myserve '224' for queue: 'weblogic.kernel.default (self-tuning)'> <<anonym <BEA > <MessageDrivenBean threw an Exception in onmessage() javax.ejb.ejbexception: nested exception is: javax.ejb.objectnotf primary key ' ' was not found by ' findbyprimarykey'.. javax.ejb.ejbexception: nested exception is: javax.ejb.objectnotfo primary key ' ' was not found by ' findbyprimarykey'. at com.sun.j2ee.blueprints.opc.customerrelations.ejb.mailorderapprova almdb.java:140) at weblogic.ejb.container.internal.mdlistener.execute(mdlist at weblogic.ejb.container.internal.mdlistener.transactionalo at weblogic.ejb.container.internal.mdlistener.onmessage(mdli at weblogic.jms.client.jmssession.onmessage(jmssession.java: at weblogic.jms.client.jmssession.execute(jmssession.java:39 at weblogic.jms.client.jmssession$useforrunnable.run(jmssess at weblogic.work.serverworkmanagerimpl$workadapterimpl.run(s at weblogic.work.executethread.execute(executethread.java:20 [Thu Sep at weblogic.work.executethread.run(executethread.java:181) 24 14:57: ] [error] [client ] ap_proxy: tr enter_order_information.screen at backend host ' /7001; go 'CONNECTION_REFUSED [os error=0, line 1739 of../ nsapi/url.cpp]: E :7001', referer: 7

8 Formati diversi, in continua evoluzione Centinaia di vendor Migliaia di formati Stesso tipo di apparato: formati molto diversi Stesso vendor: formati molto diversi :27:58 Local7.Notice Oct :00:21 ASA VDN1 : %ASA : access list inbound denied Sep :59: ns5gtwlan: NetScreen device_id=ns5gt-wlan [No Name]system-notification-00257(traffic): start_time=" :59:28 Intrusion Detection System Jul :39:18 '<?xml version="1.0" encoding="utf-8" standalone="yes"?><events Cisco Security Agent Fri Sep 18_18:20:01_PDT_2009 peizhu- wxp :51: The process 'C: Ironport Security TCP_MISS/ GET 8

9 Valore per IT e Business Contengono informazioni di attività e comportamento Uptime e SLA Sicurezza Compliance Contengono informazioni di business Comportamento ed esperienza cliente Utilizzo prodotti e servizi Informazioni End-to-end User IP Action Login Result User IP Product Category [25/Sep/2009:09:52: ] [25/Jan/2010:09:52: ] type=user_login msg=audit( :199891): "GET user /petstore/product.screen pid=25702 uid=0 auid= msg='acct="taylor": exe="/usr/sbin/sshd"?product_id=av-cb-01 (hostname=?, HTTP/1.1" " addr= , terminal=sshd res=failed)' category.screen?category_id=birds" "Mozilla/5.0 ( Linux) "JSESSIONID=xZDTK81Gjq9gJLGWnt2NXrJ2tpGZb1 9

10 Valore per il business dopo due settimane: Ottimizzazione dei ricavi RDB lookup calcola i costi per chiamata Visibilità dei CDR Elabora CDR in qualunque formato e fornisce i valori di ARPU (Average Revenue per User) Rilevamento di abusi Dashboards evidenziano abusi delle condizioni di servizio 10

11 Per ogni tipologia di dato, il giusto repository Database Relazionale Dati finanziari, di produzione e logistica, dati del personale. Altamente strutturati cosi come il DB che li contiene. Schema non flessibile, lungo ciclo di sviluppo e messa in produzione. Database Multidimensionale Dati Multidimensionali utili per il Business Management e per le statistiche. Grande forza nello sfruttamento di algoritmi e regole matematiche, grande densità di dati. Tabelle Pivot. Report a scadenze fisse, no real-time. Motore per Dati Macchina Dati non strutturati sequenziali per tempo, senza uno schema predefinito. Generati da tutto l IT, nessuno standard, nessun formato. Grandi volumi; velocità di ricerca e correlazione. 11

12 Splunk: il motore per i Dati Macchina Dati del cliente Esterno al Datacenter Click-stream data Shopping cart data Online transaction data Logfiles Configs Messages Traps Alerts Metrics Scripts Changes Tickets Manufacturing, logistics CDRs & IPDRs Power consumption RFID data GPS data Windows Linux/Unix Virtualization & Cloud Applications Databases Networking Registry Event logs File system sysinternals Configurations syslog File system ps, iostat, top Hypervisor Guest OS, Apps Cloud Web logs Log4J, JMS, JMX.NET events Code and scripts Configurations Audit/query logs Tables Schemas Configurations syslog SNMP netflow 12

13 Raccoglie e indicizza qualunque dato macchina Qualunque dimensione, provenienza, sorgente Nessuno schema predefinito Nessun connettore Nessun RDBMS 13

14 Dashboard e report per ogni ruolo Nuovi livelli di visibilità per l IT e per il business Auditors IT Executives Marketing & Business Analysts Other Executives & Business Owners Correla dati macchina con dati di business tradizionali fornisce una nuova visibilità sulle tendenze e sul comportamento di clienti, servizi, sistemi 14

15 Dal valore per l IT al valore per il Business App Mgmt IT Ops Security Compliance Business Analytics Web Analytics Developer Framework 15

16 Una Community di Apps 185 Apps disponibili ai clienti Splunk Weather BigFix Sendmail PDF Report Server F5 Radio Stations WebSphere XenDesktop NetScaler Multicast Ruby on Rails Google Maps Whois lookup PCI Compliance Garante ADS Python Mail NetFlow Audible Alerts Stock Quote Twitter Windows Nagios Unix and Linux Sourcefire Splunk Monitoring SNORT FireEye Malware POST/GET Rqsts Security Javamail BlueCoat ProxySG Solera DeepSee IMAP YouTube Encrypt/Decrypt Splunk ESS AS/400 - iseries Security SCOM TCP/UDP Sending IronPort IronPort WSA WSA RSS Input JMS receiver Geo Location VMware Fin. Inf. exchange 16

17 Application Management Apps Splunk for Ruby On Rails Splunk for WebSphere Application Servers Splunk for TibCo BusinessWorks Engine Splunk Http Get/Post requests Example lookup for databases Puppet Configuration Management Developer Developer Framework Framework SDKs Splunk for Financial Information Exchange(FIX) Log Parsing Splunk for IMAP 17

18 IT Operations Management Apps Windows Linux/Unix XenDesktop/Net Scaler AS/400 - iseries VMware PCoIP Nagios SCOM Developer Developer Framework Framework SDKs Netflow 18

19 Security and Compliance Apps Splunk for Palo Alto Splunk for Garante ADS Splunk for AS/400 Splunk PCI Compliance Suite Splunk for Citrix NetScaler Splunk Enterprise Security Suite Splunk for BlueCoat Developer Developer Framework Framework SDKs Splunk for Cisco Security 19

20 Splunk: Operational Intelligence Raccoglie, indicizza e valorizza i dati macchina per investigare problemi, individuare sequenze frequenti, riconoscere rischi e opportunità per consentire all IT e al business di assumere decisioni consapevoli 20

21 L approccio OI vs BI Dati Utilizzo Utenti Pianificazione Adattabilità Non strutturati, in sequenza temporale, generati dalle macchine Real-time e storici Grossi volumi, eterogenei Analisi storiche e statistiche, data mining e drill down ai dettagli Dashboard real-time Diversi: IT, business, auditors Infinite possibilità di personalizzazioni Analisi ad-hoc Progetti veloci: giorni/settimane Non è indispensabile conoscere i requisiti in partenza Flessibile, versatile, progettato per dati ed esigenze in evoluzione 21

22 Gli ambiti dell Operational Intelligence Unico repository, unica interfaccia, per tutte le necessità Tre ambiti principali Ricerca/Navigazione Visibilità Real-time Analisi storiche Drilldown sui dati Cercare l ago nel pagliaio Ricerca delle cause (analisi e troubleshooting) Investigazione problemi Dashboard real-time Correlazione di eventi Monitoring e alerting Performance Visibilità per transazione SLA Baseline e soglie Trendi Visibilità per l IT Sequenze frequenti Compliance 22

23 Valorizziamo i dati nascosti: reagire Proattivo Cercare e Investigare Investigare, trovare e risolvere i problemi il più velocemente possibile attraverso tutta l organizzazione IT caos Reattivo 23

24 Valorizziamo i dati nascosti: anticipare Proattivo Cercare e Investigare Monitoraggio Proattivo Identificare automaticamente rischi di attacco o problemi prima che questi abbiano impatto su clienti e servizi IT caos Reattivo 24

25 Valorizziamo i dati nascosti: visibilità Proattivo Aumentare la visibilità end-to-end per tracciare e seguire i KPI dell IT e prendere decisioni con informazioni migliori Visibilità delle Operazioni Monitoraggio Proattivo Cercare e Investigare IT caos Reattivo 25

26 Valorizziamo i dati nascosti: business Proattivo Ottenere informazioni in real-time dai dati di operation che abilitino decisioni consapevoli, relative al business Real-time Business Insights Operational Visibility Proactive Monitoring Search and Investigate IT caos Reattivo 26

27 Cosa rende Splunk cosi unico? Qualsiasi Dato Qualsiasi formato, da qualsiasi sorgente Pieno accesso al 100% dei dati per mesi/anni Ciclo di gestione dei dati macchina completo Flessibile Supporta qualsiasi analisi, report monitoraggio attraverso i Silos IT Cruscotti molto flessibili per offrire viste dedicate ad ogni utente Si adatta al cambiamento schema al volo il disegno supporta dati nuovi o inaspettati Splunk: il Motore per i Dati IT Risultato immediato Download gratuito, si installa in minuti Cresce con il crescere delle necessità dal laptop al datacenter Il beneficio iniziale si realizza in ore o al massimo giorni, offrendo da subito il massimo 27

28 Conclusioni Michele Guglielmo Splunk Country Manager Italia

29 Cosa rende Splunk cosi unico? Qualsiasi Dato Qualsiasi formato, da qualsiasi sorgente Pieno accesso al 100% dei dati per mesi/anni Ciclo di gestione dei dati macchina completo Flessibile Supporta qualsiasi analisi, report monitoraggio attraverso i Silos IT Cruscotti molto flessibili per offrire viste dedicate ad ogni utente Si adatta al cambiamento schema al volo il disegno supporta dati nuovi o inaspettati Splunk: il Motore per i Dati IT Risultato immediato Download gratuito, si installa in minuti Cresce con il crescere delle necessità dal laptop al datacenter Il beneficio iniziale si realizza in ore o al massimo giorni, offrendo da subito il massimo 29

30 Dal valore per l IT al valore per il Business App Mgmt IT Ops Security Compliance Business Analytics Web Analytics Developer Framework 30

31 L uso di Splunk in azienda evolve nel tempo Expansion Workgroup Enterprise Deployment Download Più siti Più data source Più volumi Enterprise standard Molti utenti Molte aree applicative Utilizzatore iniziale Applicazioni puntuali Utenti specializzati 31

32 Splunk>live! 2011 Big data: trasformare log e dati IT da incubo a valore per l azienda Grazie 32 March, 2011