Big Data e Calcolo Parallelo

Transcript

1 Big Data e Calcolo Parallelo Luigi Roggia

2 Tempi che cambiano... I sistemi informatici di ieri non sono più idonei a gestire le esigenze informative odierne Oggi più che mai è indispensabile ottimizzare tempi, risorse, qualità e strategie Enormi quantità di dati aspettano di essere strutturati ed analizzati per rivelare informazioni ancora non emerse

3 L invasione dei dati Ogni giorno il mondo in cui viviamo e lavoriamo produce incessantemente dati Esiste una netta differenza tra dati e informazioni: i dati di per sè sono pressochè inutili! Se i dati vengono raccolti ed archiviati senza un metodo adeguato, possono diventare costosi o impossibili da utilizzare in un secondo momento

4 Big data e dati in generale Non esiste una definizione quantitaviva di quando un dataset diventi un large dataset; il termine Big Data è spesso usato impropriamente Per i veri large dataset sono indispensabili le nuove tecnologie nate e studiate appositamente Alcune delle strategie usate per i big data sono utili e convenienti anche per dataset più piccoli

5 Database relazionali e non Esiste molta confusione su cosa sia effettivamente un database e su quanto sia importante un vero database in azienda! Un foglio Excel o un documento Access non rappresentano soluzioni per creare database la struttura logica più stabile, utile, performante e versatile è quella del database relazionale per i big data esistono invece i database non relazionali In alcuni casi un mix di database relazionali e non relazionali rappresenta la soluzione ottimale

6 Database relazionale...? tbd_colore id_colore codice_colore descrizione_colore 1 K0123 Grigio Argento 2 S9111 Nero Notte 3 L0091 Rosso Fuoco 4 K0125 Grigio Fucile tbd_modello id_modello codice_modello descrizione_modello 1 PT002 Punto 2 FR001 Freemont 3 CR004 Croma 4 PD005 Panda tbl_produzione id_produzione id_colore id_modello anno_mese_produzione

7 Hardware e architettura di sistema Il mondo informatico è irreversibilmente lanciato verso le soluzioni web based, oggi chiamate cloud In questo contesto, l acquisto di ferro non ha più molto senso e senz altro è anti economico Il concetto di cloud è estremamente importante per il trattamento dei big data e offre soluzioni vincenti e strategiche anche per basi dati non necessariamente big Tenere i dati in casa su hardware proprietario, non è più la soluzione sempre corretta e conveniente

8 Problemi dei big data Come gestire il file system Come effettuare il back up o la ridondanza dei dati Come eseguire analisi statistiche Come affrontare l allestimento hardware Come eseguire ricerche veloci In realtà tutti questi punti possono essere affrontati anche per dataset di dimensioni standard e condurre a grandi ottimizzazioni...

9 Calcolo parallelo e distribuito

10 Calcolo parallelo e distribuito Solitamente questa situazione si verifica nel calcolo scientifico, soprattutto quando si fannno moodelli di sistemi fisici complessi

11 Calcolo parallelo e distribuito

12 Apache Hadoop The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation and storage.

13 Apache Hadoop Dispone di un file system distribuito, capace di gestire file di dimensioni ingenti Permette di aggiungere e rimuovere macchine al cluster con estrema facilità E compatibile con diversi linguaggi di programmazione Gestisce in modo automatico l utilizzo dei nodi di calcolo Risolve il problema del plateau parallelo

14 Apache Hadoop

15 Data Science La nuova disciplina nata dalla necessità di trasformare i dati in informazioni e le informazioni in fatturato Unisce matematica, informatica, creatività e competenze di settore Il futuro appartiene alle aziende che sapranno sfruttare al meglio i dati

16 Conclusione GMSL Consulting svolge consulenze di Data Science ed è in grado di progettare e realizzare soluzioni per la gestione e l analisi di big data.