Analisi dei dati attraverso sistemi Open Source. Aka Hadoop
|
|
- Arturo Cipriani
- 8 anni fa
- Visualizzazioni
Transcript
1 Analisi dei dati attraverso sistemi Open Source Aka Hadoop
2 Chi sono nico logrillo IT Business Intelligence Wolters Kluwer Studente (*) Informatica Magistrale di Bari *eterno studente
3 Che cos'è E' un ecosistema di strumenti open-source orientato al calcolo distribuito di big data attraverso un cluster di computer Sfrutta macchine di comodo per l'elaborazione Scalabile Fault tolerant Numerosi strumenti Open-Source Sempre in evoluzione Grande comunità di utenti, tra cui:
4 Big Data?
5 Big Data? Cosa sono? Nel 2001 Doug Laney Gartner) definì I big data in termini volume, velocity e variety: Volume. Many factors contribute to the increase in data volume. Transaction-based data stored through the years. Unstructured data streaming in from social media. Increasing amounts of sensor and machine-to-machine data being collected. In the past, excessive data volume was a storage issue. But with decreasing storage costs, other issues emerge, including how to determine relevance within large data volumes and how to use analytics to create value from relevant data. Velocity. Data is streaming in at unprecedented speed and must be dealt with in a timely manner. RFID tags, sensors and smart metering are driving the need to deal with torrents of data in near-real time. Reacting quickly enough to deal with data velocity is a challenge for most organizations. Variety. Data today comes in all types of formats. Structured, numeric data in traditional databases. Information created from line-of-business applications. Unstructured text documents, , video, audio, stock ticker data and financial transactions. Managing, merging and governing different varieties of data is something many organizations still grapple with.
6 Big Data? Da dove provengono? Social networks e social media (Twitter, Facebook, blogs, forum, etc.) Transazioni commerciali Documenti cartacei digitalizzati Registrazioni video Registrazioni audio Immagini Dati di geo-posizionamento (GPS) Dati generati da trasmettitori e sensori (cellulari, wifi, bluetooth, Rfid, NFC, etc.) o misuratori digitali (digital meters) Internet of Things Automazione processi produttivi Digitalizzazione dei processi di R&D (nella bioinformatica e biogenetica, chimica, climatologia, etc.) Web Log
7 Big Data? l'iter da seguire Identificare il problema Identificare sorgenti dati e strumenti da utilizzare Collezionare I dati Preparare I dati (integrazione, trasformazione, pulizia, filtraggio e aggregazione) Costruire un modello Valutare il modello Comunicare I risultati Jeff Hammerbacher s Model (facebook)
8 Storia di Hadoop Nasce da un sotto progetto di Apache Lucene, Nutch (motore di ricerca Open Source). Nutch aveva problemi di scalabilità e riusciva a gestire solo piccole quantità di dati Nel 2003 fu pubblicato un articolo sul Google File System (GFS) e il team di sviluppo di Nutch iniziò ad ispirarsi al GFS Nel 2004 viene realizzato il Nutch Distributed File System (NDFS) In seguito venne implementato il paradigma MapReduce che poteva essere usato anche per altri scopi, per questo motivo fu promosso come progetto a sè: Hadoop
9 Architettura di Hadoop Architettura Master-Slave MASTER... SLAVES
10 Architettura di Hadoop Architettura Master-Slave... MASTER NameNode JobTracker SLAVES TaskTracker DataNode
11 Architettura di Hadoop
12 Architettura di Hadoop HDFS (Hadoop Distributde File System) E' il filesystem distribuito di hadoop è stato progettato per archiviare in modo affidabile file di grandi dimensioni attraverso le macchine in un grande Cluster.
13 Architettura di Hadoop YARN (Yet Another Resource Negotiator) Gestisce le risorse all'interno di Hadoop, garantendo la sicurezza e la coerenza tra le risorse del cluster
14 Architettura di Hadoop Architettura MapReduce Paradigma per la realizzazione di applicazioni distribuite sul cluster Hadoop
15 Architettura di Hadoop Nell'ecosistema di Haoop esistono moltissimi progetti che hanno un ruolo nel trattamento dei dati.
16 Ecosistema di Hadoop (alcuni esempi...)
17 Esempi di cluster Cluster: 15 nodi Ogni nodo: 8 cores 16G RAM 1.4T storage Cluster: 150 nodi Ogni nodo: Intel xeon 16G RAM 800G storage Cluster: 532 nodi Ogni nodo: 8G RAM Tot. Disk size: 5.3Peta Utilizzato per Il motore di ricerca Utilizzato per ETL, statistiche, ML Heavy usage of Java MapReduce, Apache Pig, Apache Hive, Apache HBase
18 Esempi di cluster Cluster 1: 1100 nodi 8800 cores 12PB Singolo nodo: 8 cores 12TB We use Apache Hadoop to store copies of internal log and dimension data sources and use it as a source for reporting/analytics and machine learning Cluster 2: 300 nodi 2400 cores 3PB Singolo nodo: 8 cores 12TB WTF!!!
19 Hadoop MapReduce MapReduce è un framework per l'elaborazione di problemi parallelizzabili attraverso enormi set di dati utilizzando un gran numero di computer ( nodi )
20 Hadoop MapReduce (Paradigma) Il paradigma MapReduce processa I dati manipolando coppie chiave/valore: Map Phase Input <k1, v1> Output list(<k2, v2>) Reduce Phase Input <k2, list(v2)> Output list(<k3, v3>)
21 Hadoop MapReduce (esempio: wordcount)
22 Hadoop MapReduce (esempio: wordcount) Map Phase Input <k1, v1> Output list(<k2, v2>) Map Phase Input <INDEX, TOKEN> Output list(<token, VALORE_ASSEGNATO>) Map Phase (esempio) Input <testo1.txt, Linux> Output list(<linux, 1>)
23 Hadoop MapReduce (esempio: wordcount) Reduce Phase Input <k2, list(v2)> Output list(<k3, v3>) Reduce Phase Input <TOKEN, list(1,1,1,...,1)> Output list(<token, sum(list(1,1,1,...,1))>) Reduce Phase (esempio) Input <Linux, list(1,1,1,...,1)> Output list(<linux, 100>)
24 Hadoop MapReduce (esempio: Analisi dei Log) 1. Caricare i log sull'hdfs 2. Scrivere un programma in MapReduce che deve: 1. - Parserizzare il contenuto dei log 2. - Estrarre i campi di interesse 3. Ordinare l'output dataset di riferimento: (il dataset contiene I log provenienti da Apache Web Server)
25 Hadoop MapReduce (esempio: Analisi dei Log) 1. Caricare i log sull'hdfs hadoop fs -put access_log_aug95 /user/linuxday/dataset
26 Hadoop MapReduce (esempio: Analisi dei Log) 2. Scrivere un programma in MapReduce che deve: 1. - Parserizzare il contenuto dei log 2. - Estrarre i campi di interesse Esempio di un record: in24.inetnebr.com - - [01/Aug/1995:00:00: ] "GET /shuttle/missions/sts-68/news/sts-68-mcc-05.txt HTTP/1.0" Chi effettua la richiesta Metodo della richiesta Quando è stata fatta la richiesta PID Risorsa richiesta Processo
27 Hadoop MapReduce (esempio: Analisi dei Log)
28 Hadoop MapReduce (esempio: Analisi dei Log) Main Class Mapper Class Reducer Class Tipi di dati di Hadoop
29 Hadoop MapReduce (esempio: Analisi dei Log)
30 Hadoop MapReduce (esempio: Analisi dei Log) Map Phase Input <INDEX, LINE> Output list(<token, VALORE>)
31 Hadoop MapReduce (esempio: Analisi dei Log)
32 Hadoop MapReduce (esempio: Analisi dei Log) Reduce Phase Input <TOKEN, list(1,1,1,...,1)> Output list(<token, sum(list(1,1,1,...,1))>)
33 Hadoop MapReduce (esempio: Analisi dei Log) 3. Ordinare l'output hadoop fs -cat /user/linuxday/dataset/output/part* sort -n -k2 -r head -n100 > Top-100.txt /images/nasa-logosmall.gif /images/ksc-logosmall.gif /images/mosaic-logosmall.gif /images/usa-logosmall.gif /images/world-logosmall.gif /images/ksclogo-medium.gif /ksc.html /history/apollo/images/apollo-logo1.gif
34 Hadoop MapReduce Ok, MapReduce è già datato...
35 Apache E' un motore di calcolo estremamente veloce per il processamento di enormi moli di dati Velocità: 100X più veloce di MapReduce in memoria 10X più veloce di MapReduce sul caricamento da disco Linguaggi Supportati: Java Scala Python R Librerie presenti: SparkSQL SparkStreaming Mlib GraphX
36 Apache Perchè è meglio di MapReduce? Tempo per la creazione del Job MapReduce è lento perchè ogni job deve leggere/scrivere dall'hdfs MapReduce non è adatto ad operazioni di tipo iterativo (cicli in cui si deve trattare lo stesso set di dati) Introduce il concetto di Resilient Distributed Dataset (RDD) E' un set di dati suddiviso in partizioni che può restare in memoria o essere materializzato su disco E' immutabile. Lo si può modificare solo per mezzo di trasformazioni Ogni nodo (worker) possiede una partizione dell'rdd
37 Apache Come funziona una elaborazione in Spark? L'applicazione scritta per Spark definisce un RDD iniziale partendo da un set di dati. L'applicazione eseguirà trasformazioni come map() o filters() che muteranno l'rdd in un nuovo RDD. Lo scheduler costruisce un grafo contenente le trasformazioni richieste dall'applicazione determinando il miglior modo con cui distribuire le trasformazioni sui vari nodi. Al termine dell'operazione lo scheduler restituisce l'output al client che ha lanciato l'applicazione.
38 Apache C'è già qualcosa di più ambizioso
39 Apache Tugsten Il progetto parte con Apache Spark 1.4 Gestione manuale della memoria Immagazzinare I dati nella cache della CPU Migliori algoritmi e strutture dati stay tuned
40 #METTIALINUX #ESCILADISTRO
41 facebook.com/philipj.fry.5439
Big data ed eventi: quasi un tutorial. Prof. Riccardo Melen melen@disco.unimib.it
Big data ed eventi: quasi un tutorial Prof. Riccardo Melen melen@disco.unimib.it Big Data Monitoraggio di reti e infrastrutture IT performance: data center, SOA/ESB, infrastrutture virtuali, configurazione
DettagliBig Data. Davide Giarolo
Big Data Davide Giarolo Definizione da Wikipedia Big data è il termine usato per descrivere una raccolta di dati così estesa in termini di volume, velocità e varietà da richiedere tecnologie e metodi analitici
DettagliBig Data: tecnologie, metodologie e applicazioni per l analisi dei dati massivi
Big Data: tecnologie, metodologie e applicazioni per l analisi dei dati massivi Ministero Dello Sviluppo Economico Istituto Superiore delle Comunicazioni e delle Tecnologie dell Informazione Seminario
DettagliIndice generale. Introduzione...xiii. Gli autori...xvii. I revisori...xix
Indice generale Introduzione...xiii Struttura del libro... xiii Cosa serve per questo libro...xiv Lo scopo del libro...xiv Convenzioni...xv Codice degli esempi...xv Gli autori...xvii I revisori...xix Capitolo
DettagliElaborazione dati parallela con map/reduce. Roberto Congiu rcongiu@yahoo.com
Elaborazione dati parallela con map/reduce Roberto Congiu rcongiu@yahoo.com Indice delle slide Introduzione a Map/Reduce Descrizione del modello Implementazione Ottimizzazioni Introduzione Map/Reduce e
DettagliBig Data. Alessandro Rezzani. alessandro.rezzani@dataskills.it www.dataskills.it
Big Data Alessandro Rezzani alessandro.rezzani@dataskills.it Chi sono? I big data Caratteristiche Fonti Agenda Creare valore con i big data Aspetto del business Aspetto finanziario Aspetto tecnologico
DettagliTecnologie e metodologie di Big Data Analytics - Apache Spark
Tecnologie e metodologie di Big Data Analytics - Apache Spark Simone Angelini Fondazione Ugo Bordoni sangelini@fub.it 2 Luglio 2019 Simone Angelini (Fondazione Ugo Bordoni) Tecnologie e metodologie di
DettagliHBase Data Model. in più : le colonne sono raccolte in gruppi di colonne detti Column Family; Cosa cambia dunque?
NOSQL Data Model HBase si ispira a BigTable di Google e perciò rientra nella categoria dei column store; tuttavia da un punto di vista logico i dati sono ancora organizzati in forma di tabelle, in cui
DettagliProgetti Big Data nell ambito delle Analisi Fiscali
Progetti Big Data nell ambito delle Analisi Fiscali Chi è SOSE E una S.p.A. partecipata dal Ministero dell Economia e Finanze (88%) e dalla Banca d Italia (12%) Operativa dal 2002 Sede a Roma 140 dipendenti
DettagliMapReduce. Progettazione del Software a.a. 2012/13. Università degli Studi di Milano Dept. of Computer Science. Matteo Camilli
Università degli Studi di Milano Dept. of Computer Science MapReduce Matteo Camilli matteo.camilli@unimi.it http://camilli.di.unimi.it Progettazione del Software a.a. 2012/13 1 Motivazioni Vogliamo processare
DettagliSoftware di sistema e software applicativo. I programmi che fanno funzionare il computer e quelli che gli permettono di svolgere attività specifiche
Software di sistema e software applicativo I programmi che fanno funzionare il computer e quelli che gli permettono di svolgere attività specifiche Software soft ware soffice componente è la parte logica
DettagliSviluppo di sistemi scalabili con Apache Spark. Alessandro Natilla - 22/10/2016 1
Sviluppo di sistemi scalabili con Apache Spark Alessandro Natilla - 22/10/2016 1 Outline Big Data Cosa è Apache Spark Storia di Spark Spark vs MapReduce Componenti di Apache Spark Foundations: RDD e operazioni
DettagliCORSO I.F.T.S TECNICHE PER LA PROGETTAZIONE E LA GESTIONE DI DATABASE
CORSO I.F.T.S TECNICHE PER LA PROGETTAZIONE E LA GESTIONE DI DATABASE Ing. Mariano Di Claudio Lezione del 20/10/2014 1 Indice 1. HBase e Hrider Caratteristiche chiave Modello dati Architettura Installazione
DettagliBig Data Tecnologie, metodologie per l analisi di dati massivi Seminario ISCOM
Big Data Tecnologie, metodologie per l analisi di dati massivi Seminario ISCOM, Simone Angelini, Marco Bianchi, Giuseppe Marcone, Roma 26 febbraio 2016 Sommario 1 Il progetto SNOOPI 2 Piattaforme di Big
DettagliBig Data: il futuro della Business Analytics
Big Data: il futuro della Business Analytics ANALYTICS 2012-8 Novembre 2012 Ezio Viola Co-Founding Partner & Direttore Generale The Innovation Group Information Management Tradizionale Executive KPI Dashboard
DettagliAmbienti di calcolo a griglia Parte 2. Risorse (e loro gestione) Job di griglia e applicazioni di griglia Riservare le risorse ai job
Ambienti di calcolo a griglia Parte 2 Risorse (e loro gestione) Job di griglia e applicazioni di griglia Riservare le risorse ai job Docente: Marcello CASTELLANO La vera rivoluzione non è più la capacità
DettagliANALISI E VALUTAZIONE DELLA PIATTAFORMA SPARK
ALMA MATER STUDIORUM UNIVERSITÀ DI BOLOGNA CAMPUS DI CESENA Scuola di Scienze Corso di Laurea in Ingegneria e Scienze Informatiche ANALISI E VALUTAZIONE DELLA PIATTAFORMA SPARK Relazione finale in LABORATORIO
DettagliIl Software. Il software del PC. Il BIOS
Il Software Il software del PC Il computer ha grandi potenzialità ma non può funzionare senza il software. Il software essenziale per fare funzionare il PC può essere diviso nelle seguenti componenti:
DettagliCORSO I.F.T.S TECNICHE PER LA PROGETTAZIONE E LA GESTIONE DI DATABASE
CORSO I.F.T.S TECNICHE PER LA PROGETTAZIONE E LA GESTIONE DI DATABASE Ing. Mariano Di Claudio Lezione del 15/10/2014 1 Indice 1. Processo di analisi/elaborazione dei 1. Hadoop Caratteristiche chiave Architettura
DettagliTecnologie informatiche e multimediali A.A. 2012/2013 - Elenco Obiettivi Prova scritta (STEP 1)
Tecnologie informatiche e multimediali A.A. 0/03 - Elenco Obiettivi Prova scritta (STEP ) Obiettivo didattico Descrivere gli elementi caratteristici delle tecnologie informatiche Numero item definire i
DettagliSistema di Gestione dei Contenuti Multimediali
Sistema di Gestione dei Contenuti Multimediali Tonghini Luca Pini Andrea SISTEMI DI ELABORAZIONE 1 INTRODUZIONE Un sistema di gestione dei contenuti ( Content Management System, CMS ) è un insieme di programmi
DettagliDefinizione Parte del software che gestisce I programmi applicativi L interfaccia tra il calcolatore e i programmi applicativi Le funzionalità di base
Sistema operativo Definizione Parte del software che gestisce I programmi applicativi L interfaccia tra il calcolatore e i programmi applicativi Le funzionalità di base Architettura a strati di un calcolatore
DettagliBig Data e Calcolo Parallelo
Big Data e Calcolo Parallelo Luigi Roggia Tempi che cambiano... I sistemi informatici di ieri non sono più idonei a gestire le esigenze informative odierne Oggi più che mai è indispensabile ottimizzare
DettagliINDEXING: DISTRIBUITO O MAPREDUCE? Davide Tuccilli Algoritmi Avanzati A.A. 2011/2012
INDEXING: DISTRIBUITO O MAPREDUCE? Davide Tuccilli Algoritmi Avanzati A.A. 2011/2012 Introduzione Grandi moli di dati su cui effettuiamo ricerche quotidianamente Google indicizza per il motore di ricerca
DettagliCon il termine Sistema operativo si fa riferimento all insieme dei moduli software di un sistema di elaborazione dati dedicati alla sua gestione.
Con il termine Sistema operativo si fa riferimento all insieme dei moduli software di un sistema di elaborazione dati dedicati alla sua gestione. Compito fondamentale di un S.O. è infatti la gestione dell
DettagliHIGH-PERFORMANCE ANALYTICS: IL MOTORE PER LA DATA DRIVEN ECONOMY
HIGH-PERFORMANCE ANALYTICS: IL MOTORE PER LA DATA DRIVEN ECONOMY MILANO 8 NOVEMBRE 2012 SAS Fondata 1976 a Cary, NC, USA Oltre 400 uffici in oltre 50 paesi 12.000 dipendenti nel mondo in 113 paesi 60.000
Dettagli15 volte più veloce. per ridurre TCO e time-to-market
15 volte più veloce per ridurre TCO e time-to-market Instant Developer aumenta la produttività dei team di sviluppo riducendo il TCO e i tempi di realizzazione delle soluzioni software Instant Developer
DettagliMoniThor di IDC-Informatica www.idc-informatica.it. Centralizzazione di controlli per apparati eterogenei
MoniThor di IDC-Informatica www.idc-informatica.it Centralizzazione di controlli per apparati eterogenei Cos'è MoniThor è una suite di strumenti per il controllo a distanza di dispositivi collegati o collegabili
DettagliKickoff Progetto DaSSIA 29 Settembre 2014
www.crs4.it Kickoff Progetto DaSSIA 29 Settembre 2014 Ordine del giorno Breve Presentazione del CRS4 CRS4 & Big Data Il Progetto DaSSIA Sviluppo di un caso test paradigmatico L'Attività di Formazione Discussione
DettagliSISTEMA DI GESTIONE PER LA QUALITA Capitolo 4
1. REQUISITI GENERALI L Azienda DSU Toscana si è dotata di un Sistema di gestione per la qualità disegnato in accordo con la normativa UNI EN ISO 9001:2008. Tutto il personale del DSU Toscana è impegnato
DettagliLibrerie digitali. Introduzione. Cos è una libreria digitale?
Librerie digitali Introduzione Cos è una libreria digitale? William Arms "An informal definition of a digital library is a managed collection of information, with associated services, where the information
DettagliPresentazione di virtual desktop client + LTSP server
+ LTSP server + LTSP server Cos'è un virtual desktop? Come si usa? A cosa serve? Perchè non un classico pc? Cos'è un virtual desktop? Di solito è un mini-pc costruito per avere funzionalità di base per
DettagliLiceo Tecnologico. Indirizzo Informatico e Comunicazione. Indicazioni nazionali per Piani di Studi Personalizzati
Indirizzo Informatico e Comunicazione Indicazioni nazionali per Piani di Studi Personalizzati Indirizzo Informatico e Comunicazione Discipline con attività di laboratorio 3 4 5 Fisica 132 Gestione di progetto
DettagliDANIEL EKLUND CAPIRE I BIG DATA E LA TECNOLOGIA HADOOP ROMA 2-3 NOVEMBRE 2015 RESIDENZA DI RIPETTA - VIA DI RIPETTA, 231
LA TECHNOLOGY TRANSFER PRESENTA DANIEL EKLUND CAPIRE I BIG DATA E LA TECNOLOGIA HADOOP ROMA 2-3 NOVEMBRE 2015 RESIDENZA DI RIPETTA - VIA DI RIPETTA, 231 info@technologytransfer.it www.technologytransfer.it
DettagliTECNICO SUPERIORE PER L AUTOMAZIONE INDUSTRIALE
ISTRUZIONE E FORMAZIONE TECNICA SUPERIORE SETTORE INDUSTRIA E ARTIGIANATO TECNICO SUPERIORE PER L AUTOMAZIONE INDUSTRIALE STANDARD MINIMI DELLE COMPETENZE TECNICO PROFESSIONALI DESCRIZIONE DELLA FIGURA
DettagliLa macchina programmata Instruction Set Architecture (1)
Corso di Laurea in Informatica Architettura degli elaboratori a.a. 2014-15 La macchina programmata Instruction Set Architecture (1) Schema base di esecuzione Istruzioni macchina Outline Componenti di un
DettagliCorso Analista Programmatore Web PHP Corso Online Analista Programmatore Web PHP
Corso Analista Programmatore Web PHP Corso Online Analista Programmatore Web PHP Accademia Futuro info@accademiafuturo.it Programma Generale del Corso Analista Programmatore Web PHP Tematiche Trattate
DettagliGriglie computazionali LEZIONE N. 10. Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica I Anno
Griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica I Anno LEZIONE N. 10 Tecnologie di Storage; DAS, NAS, SAN Esempio di SRM: StoRM 1 Introduzione
DettagliIntroduzione. Dicom in Oracle 11g: gestione e vantaggi
Introduzione Dicom in Oracle 11g: gestione e vantaggi Agenda Lo scenario del sistema sanitario moderno Cosa è DICOM? Gestione in Oracle dei dati DICOM Vantaggi Lo scenario Per molti anni utilizzo di carta
DettagliSoftware. Algoritmo. Algoritmo INFORMATICA PER LE DISCIPLINE UMANISTICHE 2 (13042)
INFORMATICA PER LE DISCIPLINE UMANISTICHE 2 (13042) Gli elaboratori utilizzano memoria per Dati da elaborare Istruzioni eseguite dall elaboratore software differenti risoluzione problemi differenti Algoritmo
DettagliSommario. Analysis & design delle applicazioni parallele. Misura delle prestazioni parallele. Tecniche di partizionamento.
Sommario Analysis & design delle applicazioni parallele Misura delle prestazioni parallele Tecniche di partizionamento Comunicazioni Load balancing 2 Primi passi: analizzare il problema Prima di iniziare
DettagliDBMS (Data Base Management System)
Cos'è un Database I database o banche dati o base dati sono collezioni di dati, tra loro correlati, utilizzati per rappresentare una porzione del mondo reale. Sono strutturati in modo tale da consentire
Dettaglimartedì 17 aprile 12 1
1 Come nasce l impresa La voglia di crescere creare qualcosa che non esiste Così nel 2000 dopo anni di esperienza nel settore informatico nasce 2 Intenzione Creare un software in grado di gestire progetti
DettagliCase History Sistema di streaming in intranet aziendale Cliente: Armani. www.ingeniumlogic.com
Case History Sistema di streaming in intranet aziendale Cliente: Armani www.ingeniumlogic.com 1 Richiesta del cliente 1.1 Intranet Il limite principale dell architettura adottata fino adesso risiede nella
DettagliL o. Walter Ambu http://www.japsportal.org. japs: una soluzione agile (www.japsportal.org)
L o JAPS: una soluzione Agile Walter Ambu http://www.japsportal.org 1 Lo sviluppo del software Mercato fortemente competitivo ed in continua evoluzione (velocità di Internet) Clienti sempre più esigenti
DettagliOperazione Trasparenza. Il nuovo Italia.gov.it per lo sviluppo del Portale della Trasparenza
Operazione Trasparenza Il nuovo Italia.gov.it per lo sviluppo del Portale della Trasparenza M.Draoli Laboratorio di sperimentazione tecnologie e applicazioni di DigitPA Il ruolo di DigitPA nell Operazione
DettagliSommario. Introduzione Architettura Client-Server. Server Web Browser Web. Architettura a Due Livelli Architettura a Tre Livelli
Sommario Introduzione Architettura Client-Server Architettura a Due Livelli Architettura a Tre Livelli Server Web Browser Web Introduzione La storia inizia nel 1989 Tim Berners-Lee al CERN, progetto WWW
DettagliPotenza Elaborativa, Sistemi Operativi e Virtualizzazione
Potenza Elaborativa, Sistemi Operativi e Virtualizzazione Roma, Febbraio 2011 Operating Systems & Middleware Operations Potenza Elaborativa e Sistemi Operativi La virtualizzazione Operating Systems & Middleware
DettagliCLOUD AWS. #cloudaws. Community - Cloud AWS su Google+ Amazon Web Services. Servizio Amazon Storage Gateway
Community - Cloud AWS su Google+ Amazon Web Services Servizio Amazon Storage Gateway Oggi vedremo il servizio di Amazon Storage Gateway per la gestione e la replica di dati tra azienda e cloud. Hangout
DettagliS P A P Bus Bu in s e in s e s s s O n O e n 9 e.0 9 p.0 e p r e r S A S P A P HAN HA A Gennaio 2014
SAP Business One 9.0 per SAP HANA High Performance Analytical Appliance I progressi nella tecnologia HW hanno permesso di ripensare radicalmente la progettazione dei data base per servire al meglio le
DettagliIl Linux che verrà... Francesco Crippa
Il Linux che verrà... Francesco Crippa Cosa ci attente? Tante novità per il mondo server side Tante novità per gli sviluppatori Tante novità per gli appassionati... e per gli utenti? Virtualizzare il sistema
DettagliStruttura del Calcolatore Corso di Abilità Informatiche Laurea in Fisica. prof. Corrado Santoro
Struttura del Calcolatore Corso di Abilità Informatiche Laurea in Fisica prof. Corrado Santoro La prima macchina programmabile Conoscete queste macchine? Telai Jacquard (primi anni del 1800) Macchina per
DettagliIndustria 2015 Bando Mobilità Sostenibile Progetto MS01_00027 SIFEG - Sistema Integrato trasporto merci FErro-Gomma. Dr.ssa Marina Melissari
Industria 2015 Bando Mobilità Sostenibile Progetto MS01_00027 SIFEG - Sistema Integrato trasporto merci FErro-Gomma Dr.ssa Marina Melissari SIGEI è una piattaforma ICT web based di interoperabilità tra
DettagliInformazione e dato. Gabriella Trucco
Informazione e dato Gabriella Trucco Cos è l informatica? Informatica? Trattamento automatico delle informazioni INFORMATICA Informazione Informazione: Qualcosa che quando viene fornito dissipa un dubbio,
DettagliIntroduzione alle tecnologie informatiche. Strumenti mentali per il futuro
Introduzione alle tecnologie informatiche Strumenti mentali per il futuro Panoramica Affronteremo i seguenti argomenti. I vari tipi di computer e il loro uso Il funzionamento dei computer Il futuro delle
DettagliCapitalizzare il valore dei Big Data
Capitalizzare il valore dei Big Data Use Cases Marco Gruppo, Software Technical Lead, Informatica 13 giugno 2013 Informatica Il Vendor Indipendente Leader nella Data Integration Fatturato 2012: 812 M$
DettagliMODULO 02. Iniziamo a usare il computer
MODULO 02 Iniziamo a usare il computer MODULO 02 Unità didattica 01 Conosciamo il sistema operativo In questa lezione impareremo: a conoscere le caratteristiche del sistema operativo a cosa servono i sistemi
DettagliINFORMATICA DISTRIBUITA. lez 4 Livello applicazione
INFORMATICA DISTRIBUITA prof. lez 4 Livello applicazione Università degli Studi di Milano Scienze e Tecnologie della Comunicazione Musicale a.a. 2009-2010 applicazioni di rete Processo: programma in esecuzione
DettagliLA TECHNOLOGY TRANSFER PRESENTA TIM SEEARS ROMA 11 NOVEMBRE 2013 ROMA 12-15 NOVEMBRE 2013 VISCONTI PALACE HOTEL - VIA FEDERICO CESI, 37
LA TECHNOLOGY TRANSFER PRESENTA TIM SEEARS Apache Hadoop MasterClass Sviluppare Soluzioni usando Apache Hadoop Hortonworks Certified Apache Hadoop Developer ROMA 11 NOVEMBRE 2013 ROMA 12-15 NOVEMBRE 2013
DettagliSistemi Operativi. Conclusioni e nuove frontiere
Sistemi Operativi (modulo di Informatica II) Conclusioni e nuove frontiere Patrizia Scandurra Università degli Studi di Bergamo a.a. 2008-09 Sommario Definizione di sistema operativo Evoluzione futura
DettagliPresentazione della tesi di laurea di Flavio Casadei Della Chiesa. Newsletter: un framework per una redazione web
Presentazione della tesi di laurea di Flavio Casadei Della Chiesa Newsletter: un framework per una redazione web Argomenti trattati nella presentazione Internet, problematiche e soluzioni Contesto nel
DettagliBig Data. Big Data. data that exceeds RDBMS capabilities
Big Data Big Data data that exceeds RDBMS capabilities Big Data Origini Il termine BigData è stato coniato da Google intorno al 2004 per descrivere una quantità di dati talmente grande da non poter essere
DettagliRiccardo Dutto, Paolo Garza Politecnico di Torino. Riccardo Dutto, Paolo Garza Politecnico di Torino
Integration Services Project SQL Server 2005 Integration Services Permette di gestire tutti i processi di ETL Basato sui progetti di Business Intelligence di tipo Integration services Project SQL Server
DettagliTipi classici di memoria. Obiettivo. Principi di localita. Gerarchia di memoria. Fornire illimitata memoria veloce. Static RAM. Problemi: Dynamic RAM
Obiettivo Tipi classici di memoria Fornire illimitata memoria veloce Problemi: costo tecnologia Soluzioni: utilizzare diversi tipi di memoria... Static RAM access times are 2-25ns at cost of $100 to $250
DettagliLinee di evoluzione dei Database
Linee di evoluzione dei Database DB NoSQL Linked Open Data Semantic Web Esigenze e caratteristiche Presenza di grandi volumi di dati..crescenti Struttura non regolare dei dati da gestire Elementi relativamente
DettagliGestire le NC, le Azioni Correttive e Preventive, il Miglioramento
Scopo Responsabile Fornitore del Processo Input Cliente del Processo Output Indicatori Riferimenti Normativi Processi Correlati Sistemi Informatici Definire le modalità e le responsabilità per la gestione
DettagliTYPO3 in azione con l infrastruttura ZEND: affidabilità e sicurezza. Mauro Lorenzutti CTO di Webformat srl mauro.lorenzutti@webformat.
TYPO3 in azione con l infrastruttura ZEND: affidabilità e sicurezza Mauro Lorenzutti CTO di Webformat srl mauro.lorenzutti@webformat.com Scaletta Test di performance Monitoring e reportistica errori Integrazione
DettagliCorso di Informatica (Programmazione) Lezione 6 (31 ottobre 2008)
Corso di Informatica (Programmazione) Lezione 6 (31 ottobre 2008) Introduzione a Java: primo programma, installazione dell ambiente di sviluppo, compilazione ed esecuzione 1 Introduzione Java è un linguaggio
DettagliLorenzo Sarti sarti@dii.unisi.it Materiale didattico http://www.dii.unisi.it/~ sarti
Lorenzo Sarti sarti@dii.unisi.it Materiale didattico http://www.dii.unisi.it/~ sarti Obiettivi esercitazioni Utilizzare nella pratica un DBMS Apprendere il linguaggio SQL Apprendere come si accede ad un
DettagliApprendimento informale e dispositivi mobili: il nuovo approccio alla formazione
21/3/2013 Apprendimento informale e dispositivi mobili: il nuovo approccio alla formazione In parallelo all evoluzione della tecnologia, sottolineata oggi dall ascesa dei dispositivi mobili, è in corso
DettagliDario Robatto Comitato Italiano Ingegneria dell'informazione Ordine degli Ingegneri di Savona
BIG DATA: UN'OPPORTUNITÀ DA NON SOTTOVALUTARE Dario Robatto Comitato Italiano Ingegneria dell'informazione Ordine degli Ingegneri di Savona INDICE Che cosa sono i Big Data Big Data nell automazione industriale
DettagliMACHINE LEARNING E STRUMENTI ANTICRIMINE NELL ERA DEI BIG DATA. Gaetano Bruno Ronsivalle
Gaetano Bruno Ronsivalle Università degli Studi di Verona Tecnologie informatiche e multimediali MACHINE LEARNING E STRUMENTI ANTICRIMINE NELL ERA DEI BIG DATA Argomenti Big Data: una galassia online Machine
DettagliInformatica - A.A. 2010/11
Ripasso lezione precedente Facoltà di Medicina Veterinaria Corso di laurea in Tutela e benessere animale Corso Integrato: Matematica, Statistica e Informatica Modulo: Informatica Esercizio: Convertire
DettagliCORSO I.F.T.S TECNICHE PER LA PROGETTAZIONE E LA GESTIONE DI DATABASE
CORSO I.F.T.S TECNICHE PER LA PROGETTAZIONE E LA GESTIONE DI DATABASE Ing. Mariano Di Claudio Lezione del 24/09/2014 Indice 1. Aspetti di Data Management CouchBase 2. Aspetti Architetturali Infrastruttura
DettagliInformatica. Teoria. L architettura dei PC Storia dell informatica Periferiche Reti - Software. Marco Brama 2010-2011
\ 1 Informatica Teoria L architettura dei PC Storia dell informatica Periferiche Reti - Software Marco Brama 2010-2011 La presente dispensa è stata creata appositamente ad integrazione del programma didattico
DettagliEfficienza, crescita, risparmi. Esploriamo il pianeta tecnologia VMware VSphere4
Efficienza, crescita, risparmi. Esploriamo il pianeta tecnologia VMware VSphere4 La piattaforma di virtualizzazione di nuova generazione L infrastruttura Virtuale permette di allocare alle applicazioni
DettagliLinux nel calcolo distribuito
openmosix Linux nel calcolo distribuito Dino Del Favero, Micky Del Favero dino@delfavero.it, micky@delfavero.it BLUG - Belluno Linux User Group Linux Day 2004 - Belluno 27 novembre openmosix p. 1 Cos è
DettagliCorso di Alfabetizzazione Informatica
Corso di Alfabetizzazione Informatica Lezione 6 a.a. 2010/2011 Francesco Fontanella La Complessità del Hardware Il modello di Von Neumann è uno schema di principio. Attualmente in commercio esistono: diversi
DettagliIntroduzione al sistema operativo. Laboratorio Software 2008-2009 C. Brandolese
Introduzione al sistema operativo Laboratorio Software 2008-2009 C. Brandolese Che cos è un sistema operativo Alcuni anni fa un sistema operativo era definito come: Il software necessario a controllare
DettagliCalcolatori Elettronici A a.a. 2008/2009
Calcolatori Elettronici A a.a. 2008/2009 PRESTAZIONI DEL CALCOLATORE Massimiliano Giacomin Due dimensioni Tempo di risposta (o tempo di esecuzione): il tempo totale impiegato per eseguire un task (include
DettagliProgrammazione in Java e gestione della grafica (I modulo) Lezione 1: Presentazione corso
Programmazione in Java e gestione della grafica (I modulo) Lezione 1: Presentazione corso Informazioni generali Docente: Prof.ssa Dora Giammarresi: giammarr@mat.uniroma2.it Tutor:??? Informazioni generali
DettagliUniversità degli studi di Pisa Facoltà di Scienze Matematiche, Fisiche, Naturali Dipartimento di Informatica
Università degli studi di Pisa Facoltà di Scienze Matematiche, Fisiche, Naturali Dipartimento di Informatica Progetto di Sistemi per la gestione di reti MIB SNMP per il controllo di sistemi remoti Susanna
DettagliUtilizzo dei Cookie Cosa sono i cookie? A cosa servono i cookie? cookie tecnici cookie, detti analitici cookie di profilazione
Utilizzo dei Cookie Questo sito utilizza i cookie. Utilizzando il nostro sito web l'utente accetta e acconsente all utilizzo dei cookie in conformità con i termini di uso dei cookie espressi in questo
DettagliSpunti ed Elementi da Intel Cloud Forum
Spunti ed Elementi da Intel Cloud Forum Intel incontra il canale sul tema del Cloud Computing, Milano, 8 Settembre 2011 L Information e Communication Technology per oltre vent anni si è sviluppata attorno
DettagliCiclo di vita dimensionale
aprile 2012 1 Il ciclo di vita dimensionale Business Dimensional Lifecycle, chiamato anche Kimball Lifecycle descrive il framework complessivo che lega le diverse attività dello sviluppo di un sistema
DettagliLA GESTIONE DELLE VISITE CLIENTI VIA WEB
LA GESTIONE DELLE VISITE CLIENTI VIA WEB L applicazione realizzata ha lo scopo di consentire agli agenti l inserimento via web dei dati relativi alle visite effettuate alla clientela. I requisiti informatici
DettagliInformatica DR KLOE Calcolo
Informatica DR KLOE Calcolo Progettazione e gestione sotto il sistema operativo Unix di un database per un esperimento che produce almeno 1200 Terabyte. Informatica DR KLOE Calcolo Tutore: Giuseppe Fortugno
DettagliApprofondimenti. Contenuti
Approfondimenti dott. Stefano D. Fratepietro steve@stevelab.net C I R S F I D Università degli studi di Bologna stevelab.net Creative Commons license Stefano Fratepietro - www.stevelab.net 1 Contenuti
DettagliEsercitazione. programmazione MapReduce con Hadoop v1.2.1
Esercitazione programmazione MapReduce con Hadoop v1.2.1 1 Prologo Cluster di VM accessibili tramite un gateway con reverse ssh passwordless ssh (Secure SHell) protocollo di rete per stabilire una connessione
DettagliSperimentazione del file system distribuito HDFS in ambiente grid
Sperimentazione del file system distribuito HDFS in ambiente grid Giovanni Marzulli INFN Bari Tutor: dott. Domenico Diacono 4 Borsisti Day 13/09/2013 Outline Cosa è HDFS Attività svolta nel 2012 Test e
DettagliCrescita e evoluzione del Machine-to-Machine
Crescita e evoluzione del Machine-to-Machine Sabrina Baggioni M2M Forum 14 Maggio 2013 1 M2M sta trasformando il business in tutti i settori Automotive Security Finance Energy & Utilities Consumer Electronics
DettagliCALCOLATORI ELETTRONICI A cura di Luca Orrù
Lezione 1 Obiettivi del corso Il corso si propone di descrivere i principi generali delle architetture di calcolo (collegamento tra l hardware e il software). Sommario 1. Tecniche di descrizione (necessarie
DettagliJOB CAREERS. La piattaforma multimediale di Ricerca & Selezione. Doxinet srl C.F. / P.I. 06973910968 R.E.A. 1870524 MB. www.doxinet.it info@doxinet.
La piattaforma multimediale di Ricerca & Selezione Doxinet srl Sede Legale Via Lombardia 3 20832 Desio (MB) C.F. / P.I. 06973910968 R.E.A. 1870524 MB Milano Via Traù 3 20159 Milano T. / F. +39.02.683709
DettagliVirtualizzazione di macchine Linux tramite XEN
26 Novembre 2005 Struttura Introduzione alla virtualizzazione Cos è la virtualizzazione La virtualizzazione è un processo di astrazione in cui alcune risorse a livello più basso vengono presentate in maniera
DettagliAICA - Workshop 01/03/2011
AICA - Workshop La Mappa di un sistema di BI I tre elementi che hanno "cambiato il gioco": Maturazione degli ETL open source La semplificazione di Amazon EC2 L'arrivo dei DB Colonnari Nel dettaglio Cos'è
DettagliFile system II. Sistemi Operativi Lez. 20
File system II Sistemi Operativi Lez. 20 Gestione spazi su disco Esiste un trade-off,tra spreco dello spazio e velocità di trasferimento in base alla dimensione del blocco fisico Gestione spazio su disco
DettagliLezione 1 Introduzione
Lezione 1 Introduzione Ingegneria dei Processi Aziendali Modulo 1 Servizi Web Unità didattica 1 Protocolli Web Ernesto Damiani Università di Milano I Servizi Web Un Servizio Web è un implementazione software
DettagliOggettivaMente Serviti New wave of services to empower IoT Milano, 20 Maggio 2014
OggettivaMente Serviti New wave of services to empower IoT Milano, 20 Maggio 2014 Telecom Italia Digital Solutions Mario Costamagna Sales Manager Business Unit Machine to Machine & IoT Services Indice
DettagliReti di Telecomunicazione Lezione 6
Reti di Telecomunicazione Lezione 6 Marco Benini Corso di Laurea in Informatica marco.benini@uninsubria.it Lo strato di applicazione protocolli Programma della lezione Applicazioni di rete client - server
Dettagli