Big Data. Alessandro Rezzani.

Transcript

1 Big Data Alessandro Rezzani

2 Chi sono?

3 I big data Caratteristiche Fonti Agenda Creare valore con i big data Aspetto del business Aspetto finanziario Aspetto tecnologico Criticità Skills Qualità dei dati

4 I BIG DATA

5 Cosa sono? Dati non analizzabili su una sola macchina o che non conviene analizzare con tecnologie tradizionali. Dati non strutturati difficili da analizzare co un DB relazionale Tre caratteristiche Volume Grandi quantità di dati Variety Varietà di strutture, tipi dato, fonti Complessità delle strutture Dati destrutturati o semi-strutturati Velocity Velocità con cui sono prodotti

6 Fontidati Sistemi tradizionali (gestionali, CRM, ) DCS (Distributed Control System) Apparecchiature Scientifiche /Mediche Sistemi di High Frequency trading Web 2.0 IOT

7 IOT

8 Le fonti per Volume/complessità

9 CREARE VALORE DAI BIG DATA

10 Opportunità/Criticità Le opportunità (e criticità) che i big data offrono possono essere viste sotto i seguenti aspetti: Business Finanziario Tecnologico Nuovi modelli di business Vantaggi competitivi Incremento ricavi Riduzione costi Piattaforme sw Hardware Skills Qualità dati

11 Creare valore con i Big Data Cross selling Dati demografici storia degli acquisti location / dati social Proposte mirate es: «you might also want» di Amazon Campagne mirate Location Based Mkt Dati geografici Dati social Differenziazione offerte Messaggi pubblicitari in base alla location CRM Dati geografici Dati social Dati anagrafici Foto, Documenti Profilazione Churn Analysis Gestion integrata dei dati

12 Creare valore con i Big Data Frau Detection Dati geografici Dati social Dati anagrafici location Individuazione di utilizzi fraudolento di carte di credito Frodi assicurative Anomaly Detection Dati di impianti industriali Dati dell'ambiente Individuazione guasti o malfunzionamenti Analisi dati IOT Sensori Dati geografici Dati social Dati anagrafici Servizio post vendita Individuazione guasti

13 Processo di analisi Data lake Generate data Ingestion Store Analyze Get Insights

14 Aspettofinanziario La quantificazione dell impatto economico derivante dall utilizzo dei big data è un informazione importante e serve a decidere se realizzare oppure accantonare il progetto stesso. Valutiamo l'investimento in termini di ROI: Fattori di costo Benefici

15 Tecnologie Tecnologie Software L'ecosistema Hadoop Tecnologie Hardware DB Appliances Architetture MPP 15

16 Hadoop Hadoop è un sistema di calcolo distribuito basato su: Il file system HDFS (Hadoop Distributed File System) Distribuito Ridondato Il framework di calcolo distribuito MapReduce Principio "divide et impera" Caratteristiche: Open source Fault tolerant Scalabile

17 L'ecosistemaHadoop ANALYTICS MAHOUT GIRAPH R OPERATIONAL SERVICES DATA SERVICES AMBARI ZOOKEEPER OOZIE FLUME SQOOP HBASE HIVE HCATALOG PIG MAP REDUCE TEZ CORE SERVICES YARN HDFS

18 Tecnologie Software Data Ingestion Data storing Data organization Computation/Analysis Integration/Enrichment

19 Criticità Qualità dei dati Coerenza Veridicità Rilevanza e attinenza Privacy Protezione dei dati Acquisizione degli skills Il Data Scientist

20 DATA LAKE ARCHITECTURE

21 Architettura tradizionale (BI) Applicazioni Reporting Business Analytics Gestione dati DWH Master data Data quality engine Fonti ETL process Fonti dati tradizionali (CRM, ERP, )

22 Nuova architettura dati Analisi Reporting Business Analytics Advanced Analytics Gestione dati On premises o Cloud based DWH RDBMS - MPP Master data Data quality engine Data lake ETL & Data Ingestion Fonti Fonti esistenti (CRM, ERP, ) Fonti emergenti (sensori, web, geo, non strutturati, )

23 Data Lake Utilizzo di Hadoop accanto alle tecnologie tradizionali: Repository a costi ridotti Staging area permanente per ogni tipologia di dato. Creazione di un unico storage accessibile a varie applicazioni Eventuale utilizzo del cloud. Dati non strutturati Dati con struttura variabile "Schema on read" Il data lakediventa fonte per l'edw

24 Repository a costi ridotti Fonte: Hortonworks

25 GRAZIE!

26