A+FORUM 2015 Big data e predic,ve analy,cs: cosa sono, soluzioni e vantaggi, servono alle PMI?

Transcript

1 A+FORUM 2015 Big data e predic,ve analy,cs: cosa sono, soluzioni e vantaggi, servono alle PMI? Alessandro Rezzani Hotel Calzavecchio Casalecchio di Reno; 18/09/2015 Hotel Calzavecchio; Casalecchio di Reno; 18/09/2015 A+network - 55 meefng 1

2

3 Chi sono?

4 Evoluzione delle tecniche di analisi dei da4

5 Sommario Dalla Business Intelligence agli Advanced AnalyFcs: Evoluzione delle tecniche di analisi Prima della BI Il Data warehouse e la Business Intelligence OLAP Data Mining Cloud Big Data Advanced AnalyFcs Gli Advanced AnalyFcs La predicfve analyfcs La prescripfve analyfcs Che problemi risolvono? Tipologie di algoritmi Le fasi del progexo

6 Evoluzione delle tecniche di analisi Phase 1 OLTP SQL StaFc Reports Phase 2 DWH SQL StaFc Reports Phase 3 DWH BI OLAP Dynamic Reports Phase 4 DWH OLAP DM PredicFve AnalyFcs Phase 5 CollaboraFon Cloud Advanced AnalyFcs Phase 6 Hadoop Big Data PrescripFve AnalyFcs Negli anni 60 i daf erano immagazzinaf su dischi e supporf magnefci. Si svolgevano analisi stafche e limitate (es. il numero di vendite dell ulfmo semestre ) Negli anni 80 i database Relazionali e SQL (Structured Query Language) permexono di realizzare analisi più dinamiche. Analisi svolte su DB operazionali, su cui è registrata ad esempio l acvità giornaliera di un azienda.

7 Evoluzione delle tecniche di analisi Problemi delle basi di daf operazionali Sono di Fpo OLTP (On Line TransacFon Processing), e presentano un modello daf fortemente normalizzato. Non sono adaxe alle lexure. DaF replicaf e manipolaf in sw differenf. Possibili differenze di formato. AggiornamenF dei daf non garanff.

8 Evoluzione delle tecniche di analisi Phase 1 OLTP SQL StaFc Reports Phase 2 DWH SQL StaFc Reports Phase 3 DWH BI OLAP Dynamic Reports Phase 4 DWH OLAP DM PredicFve AnalyFcs Phase 5 CollaboraFon Cloud Advanced AnalyFcs Phase 6 Hadoop Big Data PrescripFve AnalyFcs A causa di quesf limif a parfre dagli anni 90 si inizia a parlare di data warehouse, cioè db che integrano daf provenienf da diversi sistemi operazionali. I daf sono integraf, cerfficaf e consistenf ossia il punto di partenza perfexo per le acvità di analisi dei sistemi di Business intelligence.

9 Evoluzione delle tecniche di analisi La Business Intelligence è un insieme di modelli, metodi, strumenf e processi per: la raccolta sistemabca del patrimonio di daf generato da un azienda l aggregazione e analisi dei daf aziendali la trasformazione di daf in informazioni la loro presentazione in forma semplice Extract Cleanse/Trasform Load (the dwh) Analyze/Disseminate

10 Elemen4 di un sistema di BI FonB operazionali Pulizia/Caricamento dab Data Warehouse Client Tools (business analybcs) Data Marts Staging Area OLAP CRM ERP ETL ETL Sistemi Legacy Client Access Master data management Data quality

11 Evoluzione delle tecniche di analisi Phase 1 OLTP SQL StaFc Reports Phase 2 DWH SQL StaFc Reports Phase 3 DWH BI OLAP Dynamic Reports Phase 4 DWH OLAP DM PredicFve AnalyFcs Phase 5 CollaboraFon Cloud Advanced AnalyFcs Phase 6 Hadoop Big Data PrescripFve AnalyFcs Evoluzione dei sistemi di BI Dalle query sul DWH a basi di daf mulbdimensionali. Si traxa di sistemi di Fpo OLAP (On Line AnalyFcal Processing). QuesF sistemi offrono ancora una visione storica: Valutazioni di ciò che è accaduto o che sta accadendo. Valutazione stafca.

12 Evoluzione delle tecniche di analisi

13 Evoluzione delle tecniche di analisi Phase 1 OLTP SQL StaFc Reports Phase 2 DWH SQL StaFc Reports Phase 3 DWH BI OLAP Dynamic Reports Phase 4 DWH OLAP DM PredicFve AnalyFcs Phase 5 CollaboraFon Cloud Advanced AnalyFcs Phase 6 Hadoop Big Data PrescripFve AnalyFcs Dai primi anni Duemila nasce la necessità di un analisi dei daf in grado fare previsioni e dare suggerimenf per anbcipare gli evenb. Si inizia a parlare di data mining: scavare nei daf per estrarre nuove informazioni e significaf, non evidenf immediatamente. Numerose applicazioni: la segmentazione della clientela, market basket analysis, campagne pubblicitarie mirate, previsioni etc.

14 Evoluzione delle tecniche di analisi Phase 1 OLTP SQL StaFc Reports Phase 2 DWH SQL StaFc Reports Phase 3 DWH BI OLAP Dynamic Reports Phase 4 DWH OLAP DM PredicFve AnalyFcs Phase 5 CollaboraFon Cloud Advanced AnalyFcs Phase 6 Hadoop Big Data PrescripFve AnalyFcs Dal 2010 le principali tendenze sono: Sviluppo di strumenf di Advanced AnalyBcs. modelli matemafci e stafsfci per data analysis e data mining funzionalità avanzate di visualizzazione dei daf CollaboraBon e informabon sharing. Cloud CompuBng Risorse disponibili come servizi su internet (IaaS, SaaS, DaaS). Nessun costo iniziale/architexura scalabile / GesFone e manutenzione a carico del provider Maggior axenzione alla qualità dei dab

15 Evoluzione delle tecniche di analisi Phase 1 OLTP SQL StaFc Reports Phase 2 DWH SQL StaFc Reports Phase 3 DWH BI OLAP Dynamic Reports Phase 4 DWH OLAP DM PredicFve AnalyFcs Phase 5 CollaboraFon Cloud Advanced AnalyFcs Phase 6 Hadoop Big Data PrescripFve AnalyFcs A parfre dal 2012 si parla di Big Data (e Big Data analyfcs) Big Data: DaF che presentano le seguenf caraxerisfche Volume Velocity Variety DaF che non è possibile (o non è conveniente) analizzare con strumenf tradizionali

16 Evoluzione delle tecniche di analisi Nel 2015 i temi relafve all'analisi dei daf sono sempre più: Big Data Evoluzioni nelle tecniche si analisi: Nuove versioni di Hadoop Spark PredicFve analyfcs estrazione della conoscenza da daf che in apparenza non contengono alcuna struxura. La conoscenza è uflizzata per effexuare "predicfons". Si afferma il concexo di Prescrip(ve analy(cs Tecniche basate sulla predicfve analyfcs Abilitano i decision makers ad intraprendere azioni immediate.

17 Modern Data Architecture BI + Big data + Advanced analy4cs = modern data architecture

18 ArchiteAura tradizionale (BI) Applicazioni ReporBng Business AnalyBcs GesBone dab DWH Master data Data quality engine FonB ETL process FonB dab tradizionali (CRM, ERP, )

19 Nuova architeaura da4 Analisi ReporBng Business AnalyBcs Advanced AnalyBcs GesBone dab On premises o Cloud based DWH RDBMS - MPP Master data Data quality engine Data lake ETL & Data IngesFon FonB FonB esistenb (CRM, ERP, ) FonB emergenb (sensori, web, geo, non stru]urab, )

20 Advanced Analy4cs: predic've e prescrip've analy'cs

21 Predic4ve analy4cs Si traxa di tecniche applicabili sia ai Big Data sia ai daf "tradizionali" Machine Learning algoritmi che consentono ai computer di imparare senza essere esplicitamente programmaf per un determinato compito. Data Mining estrazione della conoscenza da daf che in apparenza non contengono alcuna struxura. Il data mining uflizza algoritmi di machine learning.

22 Prescrip4ve analy4cs I sistemi di prescripfve analyfcs forniscono vere e proprie regole direxamente applicabili al business. Essi hanno una componente predi_va Sono in grado di abilitare i decision makers ad intraprendere azioni immediate, basate su: previsioni probabilisfche regole chiare e comprensibili che provengono dal modello stesso. Capacità di analizzare anche il feedback che proviene dall uflizzo delle regole, per tener conto delle azioni intraprese e dei loro effec sui risultaf.

23 Cosa possiamo chiedere ai sistemi di predic4ve/prescrip4ve analy4cs? Un dato evento/oggexo è A o B? Un dato evento/oggexo è anomalo? Quanto? Come sono organizzaf i daf? Quali sono gli evenf che hanno un certo grado di affinità (accadono insieme)?

24 Un dato evento/oggeao è A o B? Si traxa di un problema di classificazione binaria (a due classi). Tipici problemi di classificazione sono: Churn analysis (Quali clienf ci abbandoneranno per la concorrenza?) Campagne di markefng mirate (Quali sono i clienf che risponderanno posifvamente ad una campagna?) Fraud detecfon (Quali transazioni rappresentano comportamenf fraudolenf?)

25 Un dato evento/oggeao è anomalo? Si traxa di problema di anomaly detecbon. A volte possono essere ricondoc a problemi di classificazione binaria (è un'anomalia o no?). Essa è ufle nei casi in cui le anomalie siano rarissime. Esempi: Il valore di un certo sensore (pressione, temperature) è anomalo? La combinazione di acquisf effexuata da un certo cliente è diversa da quelle del passato?

26 Quanto? La previsione di un numero anzichè di una classe dà luogo ad un problema di regressione. Esempi: Quale sarà il livello delle vendite nel prossimo weekend? Quale sarà l'ammontare dei prelievi da ogni singolo bancomat delle ns. Filiali?

27 Come sono organizza4 i da4? Una risposta a questa domanda la si trova con le tecniche di clustering Il clustering crea raggruppamenf omogenei di oggec, sulla base dei loro similarità. Esempi: Suddivisione della clientele in base ai comportamenf d'acquisto Separazione di documenf in gruppi omogenei

28 Quali sono gli even4 che hanno un certo grado di affinità (accadono insieme)? Si traxa di problemi di market basket analysis, ovvero di analisi dei comportamenf di acquisto. La tecnica mira a trovare le associazioni tra I prodoc compraf Il processo è finalizzato all'adozione di strategie di markefng ad hoc

29 Tipologie di algoritmi Suddivisione per compito svolto: ClassificaFon Regression Clustering AssociaFon

30 Tipologie di algoritmi Suddivisione in base alla metodologia di apprendimento: Supervised: si fornisce all'algoritmo un numero adeguato di esempi, che contengono anche l'output finale. L'algoritmo sarà in grado di trovare una funzione in grado di approssimare l'output Decision Trees, Neural Nets, SVM, Logic Learning Machines Unsupervised: L'algoritmo cerca di ricavare la conoscenza da un input generico, senza l'ausilio di un set di esempi già preclassificaf. Clustering, AssociaFon Rules

31 Tipologie di algoritmi Suddivisione in base all'output: Black box machines: Gli algoritmi di questa categoria forniscono una predicfon ma non presentano le modalità con cui sono arrivaf ad oxenerla Neural Nets SVM Random Forest Rule based algorithms: Gli algoritmi forniscono, oltre alla predicfon, anche un insieme di regole che rappresentano il processo decisionale Decision Trees Fuzzy Set Systems Logic Learning Machine

32 Rule based algorithms Forniscono regole che spiegano la predicfon Sono il presupposto per la "prescripfve analyfcs" Esempi di regole (da Decision Tree): IF X<25 AND X2<15 AND X1<10 THEN A IF X<25 AND X2<15 AND X1>=10 THEN B

33 Rule based algorithms Decision trees: Sistema semplice Poco performante in termini predicvi I modelli posso essere instabili (grandi variazioni causate da piccole modifiche nell'input) Fuzzy Set systems Sistemi più complessi Richiedono più risorse per il calcolo Performance predicve accexabili Implementato in tuc i sozware di data mining / machine elarning Implementato in alcuni sozware

34 Rule based algorithms Logic Learning Machine: Sistema basato sulle switching Neural Network Elevate capacità predicve Velocità di training / forecasfng Implementato in Rulex

35 Vantaggi dei sistemi di prescrip4ve analy4cs Aumento della reddifvità aziendale Risoluzione di problemi (frodi, abbandono clienf) Vantaggi compeffvi PredicFon relafve a grandezze di mercato Miglior allocazione delle risorse

36 Fasi di un progeao di predic4ve / prescrip4ve analy4cs Comprensione della problemafca di business DWH Feedback Ricerca e Analisi FonB dab Preparazione dab Creazione del modello Valutazione e ublizzo Data warehouse Altre fonf (es: big data) Normalizzazioni DiscreFzzazioni Creazione axribuf Selezione axribuf Scelta dell'algoritmo Parametrizzazione Training su un subset dei daf (training set) Test su un subset dei daf (test set) Valutazione della bontà del modello UFlizzo in produzione a fini predicvi

37