Kickoff Progetto DaSSIA 29 Settembre 2014

Transcript

1 Kickoff Progetto DaSSIA 29 Settembre 2014

2 Ordine del giorno Breve Presentazione del CRS4 CRS4 & Big Data Il Progetto DaSSIA Sviluppo di un caso test paradigmatico L'Attività di Formazione Discussione

3 Ordine del giorno Breve Presentazione del CRS4 CRS4 & Big Data Il Progetto DaSSIA Sviluppo di un caso test paradigmatico L'Attività di Formazione Discussione

4 CRS4: Sintesi Organismo di ricerca operativo dal 1991 Compiti istituzionali Ricerca e sviluppo ICT e scienze computazionali Tecnologie abilitanti e focalizzazione su tematiche prioritarie Infrastruttura HPC: uno dei maggiori centri in Italia, peculiarità importanti a livello Europeo (sistemi ibridi, visualizzazione, ) NextGen Seq: maggior centro italiano, tra i primi internazionali Supporto al territorio Cooperazione e integrazione (CNR, UNI, SRT, PCR, ) Alta formazione, impatto sociale e trasferimento tecnologico Visione internazionale, ricadute locali

5 CRS4: Focalizzazione su ICT e Scienze Computazionali Ruolo rilevante del CRS4 sin dall inizio Tematiche di lavoro estremamente attuali ICT Pervasiva Paradigma anytime, anywhere, for anybody, on any device Computing universal enabler scientifico e industriale Big Data Data-driven science & technology Excellent Science ICT Societal Challenges CRS4, 29 Settembre 2014 Industrial Leadership

6 CRS4: Ricerca e sviluppo Esempi recenti (2013): ICT per la biomedicina: metodi scalabili per l analisi massiva di dati sequenziamento completamento dell acquisizione di uno dei database più estesi (oltre campioni) e maggiormente caratterizzati geneticamente e clinicamente al mondo (con CNR-IRGB); sviluppo e utilizzo di tecnologie NGS scalabili che hanno contribuito a sviluppare metodi innovativi di terapia genica (con TIGET) e a comprendere meglio i meccanismi genetici di regolazione della risposta immunitaria delle cellule (con CNR-IRGB). ICT per il cultural heritage: Nuovi metodi scalabili per l acquisizione di forma e colore Applicazione ai beni culturali [Digital Heritage Award miglior lavoro internazionale 2013] ICT per l'industria: Primo applicativo di ecografia sismica data-driven Sensibile accorciamento del ciclo di elaborazione progettuale [CRS4-ENI] ICT per l'industria: Primo sistema per la piena tracciabilità di processo clinico Tracciamento end-to-end di processo clinico (flebotomia) [CRS4-INPECO] e molto altro

7 CRS4: Infrastrutture Risorse computazionali Tra le prime in Italia, vasta gamma di configurazioni ibride (GPU, FPGA, ), connessioni con multiple 10GbE verso Rete Regionale della Ricerca e GARR 70% utilizzato da comunità scientifica regionale Strumentazione sperimentale avanzata Il più grande centro di Next Generation Sequencing in Italia capacità di GigaBasi/mese Tra i centri più avanzati per tecnologie e beni culturali 2013: I metodi applicati al complesso di Mont e Prama sono all avanguardia a livello internazionale

8 Ordine del giorno Breve Presentazione del CRS4 CRS4 & Big Data Il Progetto DaSSIA Sviluppo di un caso test paradigmatico L'Attività di Formazione Discussione

9 Big CRS4 Risultati di ricerca e sviluppo General purpose tools and libraries [pydoop, 2010] Tool specifici di dominio [biodoop, 2008, seal 2012] Sistemi integrati [biobank 2014] Infrastrutture specializzate Il più grande cluster map-reduce in Italia (fino a 400 nodi) Allocazione dinamica delle risorse tra hadoop e sistema standard di gestione delle code File system di 4PBytes ad alte prestazioni condiviso File system parallelo (HDFS server) dedicato 400TB su 40 commodity nodes Clusters sperimentali/valutazione specializzati Spark, Impala, Hive, Hbase,... Specialized experimental/evaluation clusters Nel loop tecnologico Contributi Open source (pydoop, seal,...) Connessioni Industriali (Cloudera, Isilon, intel,...)

10 0 CRS4, 29 Settembre 2014 Ordine del giorno Breve Presentazione del CRS4 Big CRS4 Il Progetto DaSSIA Sviluppo di un caso test paradigmatico L'Attività di Formazione Discussione

11 Big Data: un problema o un'opportunità?

12

13 DaSSIA Data Scalable Solutions for Industrial Applications Il Progetto ha l'obiettivo di trasferire know how sul trattamento dei Big Data dal CRS4 alle aziende partecipanti al cluster. Si articola in due attività principali: Sviluppo di un caso test di interesse comune. Le problematiche incontrate nella sua realizzazione vengono discusse all'interno di un wiki accessibile per il cluster Attività di formazione su alcune tra le tecnologie più utilizzate nel trattamento dei Big Data

14 4 CRS4, 29 Settembre 2014 Ordine del giorno Breve Presentazione del CRS4 Big CRS4 Il Progetto DaSSIA Sviluppo di un caso test paradigmatico L'Attività di Formazione Discussione

15 Sviluppo di un Caso Test Paradigmatico Caso Test Paradigmatico: Dati sulle prestazioni (memoria, cpu, processi, temperature, ecc) provenienti da un cluster di quasi 400 computer Principali passi: Raccolta dei dati e prima analisi in realtime degli stessi Scrittura su filesystem distribuito hdfs Analisi batch dei dati A cui si possono aggiungere altri task: Visualizzazione di statistiche sui dati acquisiti Meccanismo di controllo e correzione degli errori nel trasporto dei dati etc

16 6 CRS4, 29 Settembre 2014 Ordine del giorno Breve Presentazione del CRS4 Big CRS4 Il Progetto DaSSIA Sviluppo di un caso test paradigmatico L'Attività di Formazione Discussione

17 Obiettivi dell'attività formativa Illustrare il fenomeno/problema Big Data Tracciare un quadro generale dell'ecosistema Hadoop (lo standard/ecosistema industriale) Fornire un modello architetturale per la gestione dei Big Data Accompagnare le aziende nell'apprendimento di alcune tra le più usate tecnologie per i Big Data

18 Calendario preliminare dell'attività formativa N Data Titolo Ore 1 Metà Ottobre Big Data e Hadoop 6 2 Fine Novembre Scripting e DataWarehouse sui Big Data 6 3 Fine Gennaio Scalable NoSQL Databases 6 4 Metà Marzo Data Collection from Big Data Sources 6

19 Modello Architetturale Distributed File System MapReduce Distributed DB ETL DataWarehouse

20 Prima Giornata Tema: BigData e Hadoop Cosa si intende con BigData? Hadoop HDFS MapReduce Distributed File System MapReduce Pydoop

21 Alla fine della prima giornata i partecipanti: Sapranno interagire con il file system HDFS Avranno appreso il paradigma della programmazione mapreduce Sapranno scrivere semplici job mapreduce in java e python Sapranno utilizzare le viste di controllo fornite dalle interfacce web dei servizi

22 Seconda Giornata Tema: Scripting e DataWarehouse su Big Data PIG, un linguaggio di scripting che ci libera dalle complessità di MapReduce Hive, come fare DataWarehouse su BigData sfruttando la nostra esperienza con l'sql Distributed File System MapReduce Shark, DataWarehouse superveloce...

23 Alla fine della seconda giornata i partecipanti: Avranno imparato a scrivere semplici script in Pig per la realizzazione dei job Sapranno importare i propri dati da HDFS su Hive Sapranno effettuare query sql-like con Hive Avranno preso coscienza dell'esistenza del concetto di "in memory computing" e di MR2 Sapranno eseguire semplici query con l'utilizzo di shark

24 Terza Giornata Tema: Scalable NoSQL Databases Come passare da dati RAW a dati semi-strutturati? Verranno illustrate diverse tecnologie NoSQL Hbase Cassandra MongoDB Distributed File System MapReduce ETL Distributed DB DataWarehouse

25 Alla fine della terza giornata i partecipanti: Conosceranno le principali differenze tra HBase, Cassandra e MongoDB per il trattamento dei propri dati Sapranno importare i propri dati da HDFS a HBase Sapranno eseguire semplici query su HBase

26 Quarta Giornata Tema: Data Collection from Big Data Sources Distributed File System MapReduce Distributed DB Come costruire un meccanismo ETL che alimenti di continuo il sistema DataWarehouse di processing? Verranno illustrate delle tecnologie in grado di raccogliere dati provenienti da sorgenti diverse ed inserirli nel sistema di Big Data Management

27 Alla fine della quarta giornata i partecipanti: Avranno appreso le modalità in cui è possibile utilizzare Flume per l'aggregazione dei log e il loro import sull'hdfs Avranno preso conoscenza dell'esistenza di ulteriori aggregatori di dati disponibili (es. Sqoop, Tika) e degli aspetti caratterizzanti di ognuno di essi Sapranno scrivere un semplice file di configurazione di Flume

28 Pre-requisiti Conoscenza superficiale di Linux Capacità di utilizzo di una macchina virtuale VmWare Conoscenza di un linguaggio di programmazione (In particolare Java e/o Python) e per le giornate successive alla prima: Ripasso della lezione della prima giornata

29 Qualche Informazione Finale Al momento non è ancora stata scelta la sede per lo svolgimento delle giornate di formazione All'indirizzo è presente il sito pubblico del progetto. All'interno dalla sezione Private Area si accede al sito privato riservato alle sole aziende partecipanti al cluster: All'interno del sito privato saranno inserite le lezioni, scaricabili dopo il loro svolgimento, in modo da poter ripassare il materiale visto Nel sito privato vi sarà anche un wiki sul caso test paradigmatico e la possibilità di chiedere aiuto sugli argomenti discussi nelle lezioni o nel wiki

30 Grazie dell'attenzione CRS4, 29 Settembre 2014

31 Presentazione delle Aziende E Discussione CRS4, 29 Settembre 2014