Big Data: Nuove sfide e opportunità nella gestione delle informazioni. Riccardo Torlone Università Roma Tre

Transcript

1 Big Data: Nuove sfide e opportunità nella gestione delle informazioni Riccardo Torlone Università Roma Tre 1

2 Sommario Cosa sono? Dove sono? A che servono? Come usarli? Con che cosa usarli? BD & PA 2

3 "Big Data"?? Esistono diverse definizioni Big data exceeds the reach of commonly used hardware environments and software tools to capture, manage, and process it with in a tolerable elapsed time for its user population. -Teradata Magazine article, 2011 Big data refers to data sets whose size is beyond the ability of typical database software tools to capture, store, manage and analyze. -The McKinsey Global Institute, 2012 Big data is a collection of data sets so large and complex that it becomes difficult to process using on-hand database management tools. - Wikipedia,

4 Quando i dati diventano Big? IOPS Normali Capacità di Elaborazione BIG DATA Volume dei dati 4 IOPS: Input/Output Operations Per Second

5 Qualche numero Quanti dati ci sono nel mondo? 800 Terabytes, Exabytes, Exabytes, Zettabytes, Zettabytes by 2020 Quanti dati sono generati in un giorno? 7 TB, Twitter 10 TB, Facebook 5

6 6 Velocità di crescita

7 7 Distribuzione nei vari settori

8 8 Tipologia di dati

9 Le tre "V" di Big Data Non si tratta solo di volume.. 9

10 Big Data: V 3 +VALUE Volume:Gigabyte(10 9 ), Terabyte(10 12 ), Petabyte(10 15 ), Exabyte(10 18 ), Zettabyte (10 21 ) Varietà: Structured, semi-structured, unstructured; Text, image, audio, video, record Velocità: Periodic, Near Real Time, Real Time Valore: Può generare grossi vantaggi competitivi! 10

11 Dati McKinsey 600$ per un disco nel quale memorizzare tutta la musica del mondo 5 miliardi di cellulari nel miliardi di contenuti al mese su Facebook 40% di crescita di dati all anno 5% di crescita di investimenti nell IT 235 TB di dati raccolti dalla US Library of Congress 15 settori su 17 con aziende che hanno più dati della US LoC 11

12 12 Valore potenziale in alcuni settori

13 13 Prospettive di guadagni

14 Facilità di sfruttamento in termini di valore 14

15 15 Il ciclo delle aspettative [Gartner 2012]

16 E più importante il big o il data? Il Big Il Data Entrambi Nessuno dei due 16

17 E più importante il big o il data? Il Big Il Data Entrambi Nessuno dei due Cosa fanno le organizzazioni con i big data "Data is not information, information is not knowledge, knowledge is not understanding, understanding is not wisdom" Cliff Stoll 17

18 Casi di uso (1) Data Source Capital markets High-frequency operations Write/index all trades, store tick data Lower-frequency operations Show consolidated risk across traders Call initiation request Real-time authorization Fraud detection/analysis Inbound HTTP requests Visitor logging, analysis, alerting Traffic pattern analytics Online game Rank scores: Defined intervals Player bests Leaderboard lookups Real-time ad trading systems Match form factor, placement criteria, bid/ask Report ad performance from exhaust stream 18 Mobile device location sensor Location updates, QoS, transactions Analytics on transactions

19 Casi di uso (2) Today s Challenge New Data What s Possible Healthcare Expensive office visits Manufacturing In-person support Location-Based Services Based on position Public Sector Standardized services Retail One size fits all marketing Remote patient monitoring Product sensors Real time location data Citizen surveys Social media Preventive care, reduced hospitalization Automated diagnosis, support Geo-advertising, traffic, local search Tailored services, cost reductions Sentiment analysis segmentation 19

20 Open data Iniziativa volta a rendere liberamente accessibili i dati privi di brevetti e non coperti da copyright Open government Dato come bene comune Formato aperto Adatti alla elaborazione 20

21 Open data in Italia Siamo in ritardo (dati.gov.it) Prevalentemente regionale I primi 10 enti coprono il 75% dei dati disponibili 21

22 I rischi dei Big Data Ingestibilità dei dati a disposizione Non scalabilità Inefficacia delle analisi Costi Privacy 22

23 Spiacevoli inconvenienti AOL search data leak (NYT, 8/9/2006) Anonymous Netflix vs IMDb database (Wired, 12/13/2007) Why Johnny Can t Browse The Internet In Peace (Forbes, 8/1/2012) How Companies Learn Your Secrets (NYT, 16/2/2012) 23

24 Big Data in action Decisione Interpretazione Acquisizione Estrazione Integrazione Obiettivo: saper prendere decisioni strategiche efficaci sfruttando la grande disponibilità di dati Analisi 24

25 Big Data in action Decisione Interpretazione Acquisizione Estrazione Integrazione Richiede: Selezione Filtraggio Generazione di metadati Gestione provenienza Analisi 25

26 Big Data in action Decisione Interpretazione Acquisizione Estrazione Integrazione Richiede: Trasformazione Normalizzazione Cleaning Aggregazione Gestione errori Analisi 26

27 Big Data in action Decisione Interpretazione Acquisizione Estrazione Integrazione Richiede: Standardizzazione Gestione conflitti Riconciliazione Definizione di mapping Analisi 27

28 Big Data in action Decisione Interpretazione Acquisizione Estrazione Integrazione Richiede: Esplorazione Mining Apprendimento automatico Visualizzazione Analisi 28

29 Big Data in action Decisione Interpretazione Acquisizione Analisi Estrazione Integrazione Richiede: Conoscenza del dominio Conoscenza della provenienza Identificazione pattern di interesse Flessibilità del processo 29

30 Big Data in action Decisione Interpretazione Acquisizione Estrazione Integrazione Richiede: Capacità manageriali Miglioramento continuo del processo Analisi 30

31 Sfide Performance, performance, performance! Scalabilità Eterogeneità e incompletezza Flessibiltà Usabilità Efficacia Privatezza Proprietà Collaborazione umana 31

32 Tecniche per l'analisi dei big data Data mining Association rule learning Classification Cluster analysis Regression Crowdsourcing Data fusion and data integration Genetic algorithms Machine learning Supervised learning Unsupervised learning. 32

33 Tecniche per l'analisi dei big data Natural language processing Neural networks Network analysis Pattern recognition Predictive modeling Sentiment analysis Signal processing Spatial analysis Simulation Time series analysis Visualization. 33

34 Tecnologie per i big data 34 Business intelligence (BI) Cloud computing Distributed system Hadoop Relational database NoSQL systems Cassandra Dynamo HBase Big Table Extract, transform, and load (ETL) Mashup Semi-structured/Unstructured data Stream processing Visualization

35 Il flusso dei Big Data Real Time Streams Real-Time Processing Near Real-Time Processing OLAP ETL NoSQL (HBase, Cassandra, MongoDB) Big SQL (Oracle, InfoSphere, Teradata) Analytics (Vertica, Penthao, Greenplum) File system distribuito (HDFS) 35

36 36 The Big Data Landscape

37 La visualizzazione è fondamentale 37

38 Distribuzione di risorse e servizi Architettura distribuita Computer autonomi che interagiscono per un obiettivo comune Scalabilità orizzontale Fault-tolerant Replicazione di risorse Eventual-consistency Elaborazione distribuita Paradigma Map-Reduce Modello Shared-nothing 38

39 I requisiti per sfruttare i big data Politiche Tecnologie e tecniche Riorganizzazioni Ricerca del talento Accesso ai dati Struttura aziendale 39

40 40 Un caso di uso: agenzia delle entrate

41 Un caso di uso: agenzia delle entrate Elaborazione dati sui redditi Analisi di mercato Monitoraggio utenti Confronto dati Fraud detection 41

42 Opportunità Creare trasparenza Scoprire i bisogni e individuare variabilità Personalizzare le azioni Supporto alle decisioni Innovare prodotti e servizi 42

43 Come agire Spesso i dati sono già disponibili! Adottare opportune tecnologie Reclutare e addestrare personale di talento Gestire il cambiamento nell organizzazione Condividere i dati tra agenzie diverse Introdurre la cultura del rinnovamento e miglioramento Serve un supporto politico 43

44 Conclusioni I Big Data sono già qui Ampia disponibilità in diversi settori La tecnologia per i Big Data esiste Il problema è nell'uso che se ne fa I Big Data possono creare valore Gli aspetti metodologici sono importanti Un'area in rapida evoluzione 44

45 Fonti "Big Data: The next frontier for innovation, competition, and productivity". Rapporto McKinsey&Company, "Challenges and Opportunities with Big Data". A community white paper developed by leading researchers across the United States, "Taming The Big Data Tidal Wave: Finding Opportunities in Huge Data Streams with Advanced Analytics". Bill Franks, John Wiley & Sons,