LA TECHNOLOGY TRANSFER PRESENTA ANDY PETRELLA APACHE SPARK E MACHINE LEARNING

Transcript

1 LA TECHNOLOGY TRANSFER PRESENTA ANDY PETRELLA APACHE SPARK E MACHINE LEARNING ROMA 30 NOVEMBRE - 2 DICEMBRE 2016 RESIDENZA DI RIPETTA - VIA DI RIPETTA, 231 info@technologytransfer.it

2 APACHE SPARK E MACHINE LEARNING DESCRIZIONE Oggi i Big Data rappresentano la soluzione alle sfide derivate dai massicci datasets disponibili. Le tecnologie iniziali sono state dirompenti se comparate all ambiente legacy ma oggi cominciano a soffrire l età, specialmente la loro usabilità sta rallentando la loro introduzione nel mercato globale. Inoltre si è capito che la Data Science è un aspetto fondamentale per un buon Data Management e il suo processing. Tuttavia questo porta più problemi sul tavolo, spostando le esigenze da ETL a processing ricorrenti o stream. Apache Spark si sta imponendo con il suo modello dirompente che permette a tutte le tipologie di business di lavorare facilmente con le tecnologie distribuite e il processing dei loro Big o Fast Data. Questo corso spiega tutti i concetti che stanno dietro il progetto Apache Spark. Sebbene il modello sia più semplice di altre tecnologie, è fondamentale avere una conoscenza approfondita delle idee e delle caratteristiche di Apache Spark che permetteranno a qualsiasi business di liberare la potenza della propria infrastruttura e/o dei dati. Questo seminario usa esempi concreti e riproducibili che girano interattivamente su Spark Notebook, soffermandosi non solo su Spark Core ma anche su streaming e machine layers che sono parte del progetto globale. È un fatto che Spark è un pezzo importante della moderna architettura ma non è il solo a coprire l intera pipeline e questo è il motivo per cui il seminario si soffermerà sull ecosistema Spark, includendo la sua integrazione con Apache project Kafka, Cassandra e Mesos. In particolare i partecipanti impareranno: Tools e paradigmi di Computing Distribuito I concetti fondamentali di Apache Spark I componenti SQL di Apache Spark (incluso Data- Frame, Dataset e Tungsten) Distributed Machine Learning in Spark usando MLlib e H2O Come usare Spark Notebook per uno sviluppo veloce, interattivo e reattivo di Spark Come costruire una completa Distributed Data Science Pipeline PARTECIPANTI Data Scientists Data Architects IT Managers Business Intelligence Specialists IT Consultants IT Strategists Technology Planners Technical Architects Solutions Architects Systems Analysts Data Warehouse Designers Business Analysts Enterprise Architects Database Developers Database Administrators Requisiti Conoscenza di Java/Python Interesse in Machine Learning I partecipanti sono pregati di portare il proprio laptop per le esercitazioni. Configurazioni richieste: Requisiti minimi Linux, Mac OS 2 Core 4G of RAM JVM 7+ Docker Requisiti opportuni Linux, Mac OS 4 Core 8G of RAM JVM 7+ Docker

3 PROGRAMMA 1. Introduzione al Computing Distribuito HDFS Hadoop Architettura di Computing Distribuito Limitazioni 2. Introduzione ad Apache Spark Cosa è Spark: la sua storia Perché usare Spark L ecosistema Spark Astrazione di Spark Cosa è un RDD Cosa è un driver- SparkContext 3. Introduzione a Spark Notebook Cosa è lo sviluppo interattivo Installare il tool Primi passi con Spark Notebook Come usare interattività e reattività 5. Scrivere applicazioni Spark II Processing di documenti usando Spark Creare un Crawler Implementare inverted index Implementare TF-IDF Variabili broadcast Accumulatori NLP: implementare N-Grams Joins Data Partitioning Data Shuffling Molti esercizi 6. Spark SQL: DataFrame, Dataset Introduzione alle componenti di Spark SQL Cosa e perché DataFrame Catalyst Data Source API: JSON Data Source API: Parquet Molti esercizi 7. Spark Streaming 4. Scrivere applicazioni Spark I Introduzione generale sui tools Spark RDD lineage Stages Tipi di operazioni: trasformazione, azione, controllo Operazioni di controllo in dettaglio Molti esercizi Gestione dell evento nei confronti del batch DStream Architettura Lambda Sorgenti di Spark Streaming Ricevente di Spark Streaming Checkpointing Resilienza, WAL Operazioni Stateful Molti esempi

4 8. Introduzione a Machine Learning I fondamenti della Machine Learning: imparare dai dati Introduzione ai principi Spiegazione concreta del problema bias-variance Complessità del modello e tuning del parametro ridondante Esercizi hands-on 12. Integrare con Apache Cassandra Introduzione ad Apache Cassandra Importanza di sinks nella pipeline distribuita Come integrare Cassandra con Spark Interagire con il database usando CQL Usare la Data Source API per leggere/memorizzare in Cassandra Esercizio hands-on 9. Machine Learning distribuita usando MLlib Introduzione all API mllib Panoramica dei modelli disponibili Panoramica della ml/pipeline API L alternativa Keystone Un supervised learning Supervised learning 13. Spark clusters Spark standalone Spark in Yarn Spark su Mesos Spark su ec2 (standalone) 10. Usare H2O Sparkling Cosa è H2O Cosa è H2O Sparkling Come integrarlo nello Spark Notebook Esempio 11. Integrare con Apache Kafka Introduzione ad Apache Kafka Importanza di Kafka nella pipeline Come integrare con Spark Creare direct stream Esercizio hands-on

5 INFORMAZIONI QUOTA DI PARTECIPAZIONE 1700 (+iva) La quota di partecipazione comprende documentazione, colazioni di lavoro e coffee breaks. LUOGO Roma, Residenza di Ripetta Via di Ripetta, 231 DURATA ED ORARIO 3 giorni: È previsto il servizio di traduzione simultanea MODALITÀ D ISCRIZIONE Il pagamento della quota, IVA inclusa, dovrà essere effettuato tramite bonifico, codice IBAN: IT 03 W Banca: Cariparma Agenzia 1 di Roma intestato alla Technology Transfer S.r.l. e la ricevuta di versamento inviata insieme alla scheda di iscrizione a: TECHNOLOGY TRANSFER S.r.l. Piazza Cavour, ROMA (Tel Fax ) entro il 15 Novembre 2016 Vi consigliamo di far precedere la scheda d iscrizione da una prenotazione telefonica. CONDIZIONI GENERALI In caso di rinuncia con preavviso inferiore a 15 giorni verrà addebitato il 50% della quota di partecipazione, in caso di rinuncia con preavviso inferiore ad una settimana verrà addebitata l intera quota. In caso di cancellazione del seminario, per qualsiasi causa, la responsabilità della Technology Transfer si intende limitata al rimborso delle quote di iscrizione già pervenute. SCONTI I partecipanti che si iscriveranno al seminario 30 giorni prima avranno uno sconto del 5%. Se un azienda iscrive allo stesso evento 5 partecipanti, pagherà solo 4 partecipazioni. Gli sconti per lo stesso evento non sono cumulabili fra di loro. TUTELA DATI PERSONALI Ai sensi dell art. 13 della legge n. 196/2003, il partecipante è informato che i suoi dati personali acquisiti tramite la scheda di partecipazione al seminario saranno trattati da Technology Transfer anche con l ausilio di mezzi elettronici, con finalità riguardanti l esecuzione degli obblighi derivati dalla Sua partecipazione al seminario, per finalità statistiche e per l invio di materiale promozionale dell attività di Technology Transfer. Il conferimento dei dati è facoltativo ma necessario per la partecipazione al seminario. Il titolare del trattamento dei dati è Technology Transfer, Piazza Cavour, Roma, nei cui confronti il partecipante può esercitare i diritti di cui all art. 13 della legge n. 196/2003. ANDY PETRELLA APACHE SPARK E MACHINE LEARNING nome... cognome... Roma 30 Novembre - 2 Dicembre 2016 Residenza di Ripetta Via di Ripetta, 231 Quota di iscrizione: 1700 (+iva) In caso di rinuncia o di cancellazione dei seminari valgono le condizioni generali riportate sopra. funzione aziendale... azienda... partita iva... codice fiscale... indirizzo... città... Timbro e firma cap... È previsto il servizio di traduzione simultanea provincia... telefono... fax Da restituire compilato a: Technology Transfer S.r.l. Piazza Cavour, Roma Tel Fax info@technologytransfer.it

6 DOCENTE Andy Petrella è un matematico che si è dedicato al Distributed Computing Engineering ed è diventato un imprenditore nella Data Science. È un trainer certificato di Scala/Spark ed è autore del libro The Learning Play! Framework 2. Ha partecipato a molti progetti costruiti su Spark, Cassandra e altre tecnologie distribuite in vari settori di mercato dal Geospaziale, a IoT, ad Automotive e Smart Cities. È il creatore di Spark-Notebook, il solo notebook reattivo e completamente in Scala per Apache Spark. Con Xavier Tordoir ha fondato la Data Fellas, una società dedicata alla Data Science e al computing distribuito. Andy è membro di un program committee della O Really Strata, per eventi Scala exchange e Data Science exchange e Devoxx.