Big Data - Sfide e Opportunità. La Prospettiva dell'intelligenza Computazionale

Transcript

1 Big Data - Sfide e Opportunità. La Prospettiva dell'intelligenza Computazionale Mauro Castelli Assistant Professor di Intelligenza Artificiale e Apprendimento Automatico - NOVA IMS, Universidade Nova de Lisboa, Portugal

2 Indice PARTE 1: Introduzione ai Big Data PARTE 2: Presentazione del Sistema proposto dal mio gruppo di ricerca: un sistema basato sull intelligenza artificiale per la gestione di Big Data. Universidade Nova de Lisboa 2

3 Parte 1: Big Data: Introduzione Universidade Nova de Lisboa 3

4 Definizione (una delle possibili) Big Data è un termine usato per indicare insiemi di dati così grandi e complessi che non possono essere processati con le tecniche tradizionali di data processing. (Wikipedia) Universidade Nova de Lisboa 4

5 Le quattro V dei Big Data Universidade Nova de Lisboa 5

6 Volume Universidade Nova de Lisboa 6

7 Volume Tipico approccio usato in intelligenza artificiale Set Learning Algorithm Data Model Universidade Nova de Lisboa 7

8 Volume Ambiente Dinamico The Big Data perspective Set 1 Set 2 Set 3 Set 4 Set 5 Set 7 Set 6 Learning Algorithm Set N Universidade Nova de Lisboa 8

9 Volume Ambiente Dinamico The Big Data perspective Set 1 Set 2 Set 3 Set 4 Set 5 Set 7 Set 6 Learning Algorithm Set N Universidade Nova de Lisboa 9

10 Volume Ambiente Dinamico The Big Data perspective Set 1 Set 2 Set 3 Set 4 Set 5 Set 7 Set 6 Learning Algorithm Set N Universidade Nova de Lisboa 11

11 Volume Ambiente Dinamico The Big Data perspective Set 1 Set 2 Set 3 Set 4 Set 5 Set 7 Set 6 Learning Algorithm Set N Universidade Nova de Lisboa 12

12 Volume Ambiente Dinamico The Big Data perspective Set 1 Set 2 Set 3 Set 4 Set 5 Set 7 Set 6 Learning Algorithm Set N Universidade Nova de Lisboa 12

13 Volume Ambiente Dinamico The Big Data perspective Set 1 Set 2 Set 3 Set 4 Set 5 Set 7 Set 6 Learning Algorithm Set N Universidade Nova de Lisboa 14

14 Volume Ambiente Dinamico The Big Data perspective Set 1 Set 2 Set 3 Set 4 Set 5 Set 7 Set 6 Learning Algorithm Set N Universidade Nova de Lisboa 15

15 Volume Ambiente Dinamico The Big Data perspective Set 1 Set 2 Set 3 Set 4 Set 5 Set 7 Set N Set 6 Learning Algorithm Data Model Universidade Nova de Lisboa 15

16 Velocity Universidade Nova de Lisboa 16

17 Velocity Vogliamo una risposta adesso! Due obiettivi simultanei: Accuratezza Velocità Universidade Nova de Lisboa 17

18 Variety Universidade Nova de Lisboa 18

19 Variety Dati con diversa provenienza e formato differente: grande eterogeneità Le tecniche esistenti non sono in grado di gestire questa eterogeneità! Universidade Nova de Lisboa 19

20 Variety Idea: estrarre solo i dati rilevanti! Universidade Nova de Lisboa 20

21 Veracity Universidade Nova de Lisboa 21

22 Veracity I dati possono essere imprecisi, completamente errati, provenire da fonti non sicure. Universidade Nova de Lisboa 22

23 Part 2: Big Data GP Un Sistema di Programmazione Genetica per Big Data Universidade Nova de Lisboa 23

24 Programmazione Genetica Evolutionary Computation Genetic Programming Machine Learning Computational Intelligence Universidade Nova de Lisboa 24

25 Programmazione Genetica Popolazione Iniziale Soluzione ammissibile/modello dei dati Popolazione Intermedia Selezione Operatori genetici... Miglior modello... Nuova popolazione Universidade Nova de Lisboa 25

26 Perchè la GP? Una-May O'Reilly (head of the the AnyScale Learning For All (ALFA) groupmit Computer Science and Artificial Intelligence Laboratory) Evolutionary approaches to big-data problems Interview performed by Eric Brown, MIT News, January 14, Available at: L intelligenza artificiale è particolarmente efficace nell analizzare i dati storici al fine di prevedere i trend futuri Oggi disponiamo di una grande mole di dati, so we [ ] quindi è necessario migliorare le tecniche computazionali esistenti La programmazione Genetica [ ] è particolarmente adatta nell affrontare problemi caratterizzati dalla presenza di numerose variabili e da una grande mole di dati Universidade Nova de Lisboa 26

27 Big Data GP Big Data GP è un Sistema altamente parallelo, organizzato in tre livelli architetturali. Tre livelli di parallelismo: Inter-Layer (cloud computing) Intra-Layer (cloud computing) Population (graphic processing units) Universidade Nova de Lisboa 27

28 Big Data GP Architettura a tre livelli. Ogni livello caratterizzato da centinaia di popolazioni che: Cooperano (Preprocessing e Learning Layers) Competono (Configuration Layer). Il modello dei dati è il risultato dell interazione tra i differenti livelli e/o popolazioni. In quest ottica, Big Data GP è il primo sistema complesso, basato sull intelligenza artificiale, pensato per i Big Data. Universidade Nova de Lisboa 28

29 Conclusioni I problemi relativi ai Big Data possono essere mitigati, ma non risolti: Difficile (impossibile?) ottenere con I Big Data la stessa accuratezza ottenibile con dataset tradizionali Nonostante ciò l uso dei Big Data ha un vantaggio importante: Permette di estrarre informazioni non presenti in dataset tradizionali, riducendo la possibilità di prendere decisioni errate. Big Data GP è un Sistema promettente in quest ambito Universidade Nova de Lisboa 29

30 Messaggio Finale Big Data rappresenta Una grande opportunità per le aziende in grado di catturare e analizzare efficacemente la grande mole di dati prodotta quotidianamente al fine di prendere decisioni nell ambito del loro business, accrescere la competitività e aumentare i profitti. Un grande pericolo per le aziende che non sanno adeguare i loro processi decisionali: i concorrenti avranno un vantaggio competitivo!! Universidade Nova de Lisboa 30

31 Grazie per l attenzione! mcastelli@novaims.unl.pt