Sistemi Informativi per l Azienda ed il Mercato

Transcript

1 Modulo 3 Sistemi Informativi per l Azienda ed il Mercato 1 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

2 Modulo 3 Informazioni per decidere Il terzo modulo del corso tratta di analisi di dati per la presa di decisioni nell impresa: Analisi dei dati, Big Data, Open Data e Strumenti di Analisi, passato, presente e futuro; Gli strumenti per analizzare i dati. 2 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

3 In pratica?! Il nostro obiettivo, appresi i concetti legati all analisi dei dati, è prendere conoscenza di qualche strumento; La lista degli strumenti che prenderemo in esame è comunque limitata, e basata sulla loro accessibilità; Non abbiamo comunque tempo sufficiente per approfondire ciascuno di questi; Vogliamo, invece, esaminare quanto c è di interessante ed averne qualche idea, in modo da tenerlo nella nostra borsa degli attrezzi qualora nascesse l esigenza di far finta di essere un Data Scientist (!); Su uno di questi strumenti cercheremo anche, se possibile di acquisire una prima pratica operativa. 3 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

4 Qualche strumento per l analisi dei dati Lo spreadsheet (Excel); Gretl Google Analytics; Il linguaggio R; Python e le sue librerie JasperReports Mondrian; Hadoop e l ecosistema Cloud per la DS. 4 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

5 Lo spreadsheet Il più noto è Excel, prodotto commerciale della Microsoft; Excel è talmente diffuso da diventare sinonimo di spreadsheet, la classe di prodotto cui appartiene; Esistono alternative, anche gratuite e/o open source; Non è certamente un database, anche se la struttura tabellare e la capacità di collegare celle si prestano alla manipolazione di dati con un po di struttura; Ha un buon corredo di capacità statistiche e grafiche; Bisogna assolutamente conoscerlo, ma anche evitare di usarlo oltre le sue capacità! 5 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

6 Excel per l analisi dei dati Tra i tanti possibili, tre utilizzi avanzati: Manipolazione di tabelle per operare ETL (Extraction, transformation, Load) di base; Applicazione del metodo Montecarlo per la validazione; Le tabelle pivot per l analisi dei dati in forma multidimensionale. 6 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

7 Materiali di approfondimento Il testo è eccellente! Gli esercizi nel testo e ancora di più i progetti finali sono interessantissimi, incluse i data set indicati, reperibili anche aggiornati. 7 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

8 Gretl Acronimo di GNU Regression, Econometrics and Time Series Library ; Nasce dalla comunità econometrica; Open Source, gratuito e multipiattaforma, interfaccia grafica, è ben integrabile con altri strumenti complementari; Importa ed esporta dati in molti formati, il suo formato nativo è basato su XML; Le alternative commerciali più note sono Maple, Mathematica, Stata. 8 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

9 Gretl, strumento per l Econometria Un'ampia varietà di stimatori: minimi quadrati, GMM; metodi per singole equazioni e per sistemi. Metodi per serie storiche: ARIMA, GARCH, VAR e VECM, test per radici unitarie e cointegrazione, ecc. Variabili dipendenti limitate: logit, probit, tobit, regressione per intervallo, modelli per dati di conteggio e di durata, ecc. Struttura loop per le simulazioni Monte Carlo e le procedure di stima iterativa Buone capacità grafiche Include numerosi interessanti data sets ed esempi dai principali testi di econometria. 9 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

10 Materiali di approfondimento Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

11 Google Analytics Strumento offerto da Google, specializzato per l analisi del traffico sui siti web; Gratuito per piccoli siti, in versione premium oltre un certo numero di visite (attualmente 5 milioni di pagine/mese); Attraverso l'utilizzo di GA, è possibile individuare quali siano le pagine più visualizzate dai visitatori di un sito, la loro provenienza (referrer), per quanto tempo sono rimasti all'interno del sito e la loro posizione geografica. Può monitorare i visitatori provenienti da tutte le fonti, siano essi motori di ricerca, siti referer o campagne a pagamento, il Display Advertising, le reti di Pay per click e l' marketing. 11 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

12 Google Analytics [2] gli utenti possono analizzare le campagne online, monitorando la qualità delle pagina di destinazione e le conversioni (o altri obiettivi); Gli obiettivi possono includere le vendite, la lead generation, la visualizzazione di una specifica pagina o il download di un particolare file e possono anche essere monetizzati. Utilizzando Google Analytics, il marketing è in grado di determinare quale sia il rendimento degli annunci, fornendo le informazioni per ottimizzare le campagne o abbattere i costi. 12 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

13 Materiali di approfondimento Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

14 Il linguaggio R E un ambiente software gratuito per il calcolo statistico e la grafica; Multipiattaforma; Include una grande varietà di metodi statistici: Modellazione lineare e non lineare; Test statistici classici; Analisi di serie storiche; Classificazione e clustering; 14 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

15 Il linguaggio R [2] E facilmente estensibile e corredato di un gran numero di librerie e moduli aggiuntivi; Un buon competitore per SPSS, SAS e Stata; Popolarità crescente nella comunità della Data Science, praticamente lo standard di fatto; Grande disponibilità di data sets pronti all uso ; Non è difficile prevedere che conoscerlo possa diventare una fonte di vantaggio competitivo nel mondo del lavoro! 15 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

16 Materiali di approfondimento Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

17 Il linguaggio Python Python è un linguaggio dinamico di scripting/ programmazione elegante e potente; Nato nei primi anni 90, gratuito, facile da apprendere, eccellente per la didattica, ha conquistato il favore, tra gli altri, degli amici Data Scientist; Il suo successo ha fatto si che venissero sviluppate centinaia di librerie di funzioni nei diversi campi applicativi; Se nel vostro bagaglio di conoscenze ci sta un solo linguaggio di programmazione, considerate seriamente di imparare Python! P.S. Uno sarebbe bene ci fosse! 17 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

18 Il linguaggio Python, gli accessori IPython notebooks: Ambiente interattivo multimediale, ottimo per l analisi esplorativa dei dati; NumPy Funzioni per il calcolo scientifico, l algebra lineare ed il calcolo matriciale; SciPy Funzioni di calcolo scientifico, varie estensioni a NumPy; Sympy. Matematica simbolica; 18 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

19 Il linguaggio Python, gli accessori [2] pandas Strumenti e strutture dati per l analisi avanzata dei dati; Matplotlib Produzione di grafici 2D; Scikit-learn Apprendimento automatico, machine learning; Anaconda Distribuzione completa di Python e relativi strumenti per il calcolo scientifico. 19 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

20 Materiali di approfondimento Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

21 JasperReports E uno strumento di reporting Open Source che può produrre reports in molti formati; I report possono essere progettati interattivamente con ireport e se ne può automatizzare la gestione con JasperServer; Architettura molto interessante per sperimentare e servire le esigenze analitiche di piccole aziende; Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

22 Mondrian OLAP Server E un On Line Analytical Processing server Open Source interrogabile in MDX e XML/A; Legge da un database SQL e crea un cubo multidimensionale da esplorare; Come avere una Iper Tabella Pivot a disposizione; Si può accedere con JPivot, Saiku, Pentaho Busines Analytics, Pentaho Analyzer, Pivot4J, EasyBI; Fa parte della suite Pentaho; 22 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

23 Le dimensioni del problema e la risposta Google MapReduce ed Hadoop Nell'ambito della business analytics nascono nuovi modelli di rappresentazione, per usarli dobbiamo essere in grado di gestire le grandi mole di dati necessarie attraverso elaborazioni in parallelo dei dati; Architetture di elaborazione distribuita di grandi insiemi di dati sono offerte da MapReduce di Google, e dalla controparte open source Apache Hadoop; Con questo sistema le applicazioni sono separate e distribuite con nodi in parallelo, e quindi eseguite in parallelo (funzione map). I risultati vengono poi raccolti e restituiti (funzione reduce); Hadoop è il nome dell elefantino di pezza del figlio di Doug Cuttin, uno dei due creatori iniziali del software. 23 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

24 L ecosistema Hadoop Apache Hadoop è una architettura di software open source che supporta applicazioni ed accesso ai dati distribuiti su un grande numero di nodi; Rende possibile il calcolo distribuito su grandi data set di dati usando grandi quantità di piccoli server in rete; E ispirato alle funzioni map e reduce utlizzate nella programmazione funzionale e nel framework MapReduce introdotto da Google; Permette alle applicazioni Big Data di lavorare con migliaia di nodi e petabyte (10 15 byte, migliaia di terabytes) di dati; L infrastruttura può essere propria dell organizzazione o di tipo Cloud Computing. 24 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

25 Le principali componenti di Hadoop Hadoop Common: Le funzioni di base, comuni a tutti i moduli; Hadoop Distributed File System (HDFS): Il file system per la gestione efficiente e rapida di grandi quantità di dati applicativi; Hadoop YARN: L infrastruttura per la suddivisione del lavoro ed il coordinamento delle risorse di calcolo su un grande numero di nodi ; Hadoop MapReduce Il cuore di Hadoop, gli strumenti per il calcolo parallelo su grandi quantità di dati. 25 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

26 Il concetto di Cloud Computing Con il termine cloud computing si indica un paradigma di erogazione di risorse informatiche, quali l'archiviazione, l'elaborazione o la trasmissione di dati, caratterizzato dalla disponibilità su richiesta, attraverso Internet, a partire da un insieme di risorse preesistenti e configurabili; Le risorse non vengono pienamente configurate e messe in opera dal fornitore apposta per l'utente, ma gli sono assegnate, rapidamente e convenientemente, grazie a procedure automatizzate, a partire da un insieme di risorse condivise con altri utenti, lasciando all'utente parte dell'onere della configurazione; Quando l'utente rilascia la risorsa, essa viene similmente riconfigurata nello stato iniziale e rimessa a disposizione nel pool condiviso delle risorse, con altrettanta velocità ed economia per il fornitore. 26 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

27 Hadoop in Cloud Computing L idea è di consentire grandi applicazioni di big data (e non) anche ad organizzazioni che non possiedono, e non hanno bisogno in permanenza, di una infrastruttura adeguata; Alcuni esempi di fornitori sono: Google - Amazon - Qubole Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

28 Facciamo il punto Abbiamo introdotto una serie di strumenti ed architetture utili per l analisi dei dati; Ciascuno di questi strumenti può essere utile per affrontare uno specifico problema in uno specifico contesto; Il suggerimento è di approfondirne la conoscenza attraverso i siti indicati, per essere pronti ad usarne concretamente uno o più in una prossima situazione. 28 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3

29 Modulo 3 Sistemi Informativi per l Azienda ed il Mercato 29 Sistemi Informativi per l Azienda ed il Mercato- Modulo 3