Questa è l idea di data governance che si intende trasmettere: un insieme organizzato di Persone, Tecnologie, Metodologie e Processi.

Transcript

1 1

2 2

3 3

4 Questa è l idea di data governance che si intende trasmettere: un insieme organizzato di Persone, Tecnologie, Metodologie e Processi. 4

5 Il CSIA non si è mai dotato prima di strumenti per la Data Governance: Nell aprile 2012 su incarico dell allora direttore Fraccaro, viene predisposta dal gruppo di lavoro appena costituito, una relazione introduttiva alla Data Governance; Nell ottobre 2012 si tiene un incontro di presentazione del prodotto iway a cura di Information Builder e di Pragma (partner commerciale di IB). Si tratta di un middleware per ottimizzare e razionalizzare la gestione e la fruizione di servizi applicativi; Nel novembre 2012 il direttore CSIA organizza un incontro con le ditte Pragma e Information Builder per la definizione di un piano di sperimentazione del prodotto iway; La prima sperimentazione si conclude nel luglio 2013 e si proponeva la correzione dei CAP relativi agli indirizzi presenti nell anagrafica dei dipendenti dell Ateneo (GIADA) e la normalizzazione degli indirizzi stessi, con l obiettivo finale di apportare al data base le correzioni ottenute, prima della migrazione dei dati in CSA. Il risultato di questa sperimentazione non ha però soddisfatto le aspettative; La seconda sperimentazione riguardava un test per la bonifica e l allineamento delle anagrafiche presenti nei sistemi Giada, Idra, U-gov. Anche questa sperimentazione non ha soddisfatto le aspettative perciò nella valutazione della seconda sperimentazione il gruppo di lavoro sottolinea la necessità di capire meglio il funzionamento degli strumenti per la Data Governance mettendo a confronto lo strumento iway con strumenti analoghi di tipo Open Source. 5

6 Questo grafico è prodotto da Gartner Inc., una società multinazionale leader in consulenza aziendale. Il grafico presenta il confronto degli indicatori di performance tra aziende concorrenti nello stesso settore. Questi grafici cercano di mappare il mercato di riferimento. Sostenuti dal fatto che la data integration è un settore importante dell'information Technology il gruppo procede con la fase comparativa. 6

7 Nel 2014 si procede al confronto di iway con alcuni strumenti di tipo open source, coerentemente a quanto dispone l art. 68 del Codice dell Amministrazione Digitale (CAD), secondo il quale le pubbliche amministrazioni prima dell'acquisto di programmi informatici, devono procedere ad analisi comparativa tecnica ed economica e preferire software liberi. Gli strumenti individuati per il confronto con iway sono Talend e Pentaho che risultano dalla letteratura corrente diffusi e maturi e con un ampia community di supporto. Durante alcuni laboratori il gruppo di lavoro utilizza e confronta questi strumenti allo scopo di comprendere le soluzioni offerte da queste tecnologie. I laboratori realizzati, a differenza di quanto era accaduto con le sperimentazioni iway, hanno creato aspettative positive nei confronti di queste tecnologie. In seguito all esperienza positiva nel 2015 si effettuano i primi test di utilizzo di questi strumenti realizzando: -un job di Data Integration per la conversione in formato xml di file per il MIUR ; -Un job di Data Integration per abilitare i tester ad Eduroam. 7

8 Ritornando al quadrante magico per la data integration del 2012 si nota che oltre a Information Builder, nel quadrante dei visionari, è presente anche Talend, Pentaho non c è. Nel 2014 il quadrante magico per la data integration rappresenta le due aziende in una posizione inversa: Information Builder rimane pressoché invariata, mentre Talend si avvicina ai leaders. 8

9 Generalmente suite complete di tecnologie per la Data Governance comprendono anche l application integration. Il quadrante magico di Gartner per questo settore riporta solo Talend, dei predottopresi in esame, posizionato tra i visionari e nel 2014 migliora la propria posizione. 9

10 10

11 Ecco perché abbiamo scelto Talend: Talend permette di integrare le esperienze maturate con linguaggi, framework ed ambienti differenti; Talend è lo strumento più completo rispetto ad altri strumenti open source, perché fornisce una suite completa di integrazione e data quality; Talend è uno strumento standard perché si basa su Apache Integration Projects. 11

12 12

13 Spesso nelle organizzazioni complesse coesistono diversi sistemi gestionali e applicativi dedicati a funzioni specifiche, in cui i database sono «isolati» l uno dall altro (lo scambio di dati è ridotto e non così agevole), la ridondanza delle informazioni è elevata e i dati di frequente disallineati. In questi contesti vengono attuate politiche di controllo dei dati, ma di norma esse intervengono a livello di singola unità organizzativa o di singola applicazione e non sono quindi sempre valide per l intera organizzazione. Nasce quindi un esigenza: quella di avere una visione semplificata e di insieme, una vista unificata ma soprattutto certificata dei dati, rispetto alle diverse fonti che costituiscono il patrimonio informativo di un azienda. E in questi contesti e per soddisfare questa esigenza che nasce la Data Governance. 13

14 Innanzitutto si può descrivere la DG come l insieme di metodologie e attività necessarie per integrare sistemi eterogenei, standardizzare i dati e il loro significato rendendoli tra loro consistenti. Ma la DG è anche una combinazione di persone, processi, metodologie e tecnologie al fine di realizzare un costante e corretto trattamento di tutti i dati che abbiano importanza per una organizzazione e di garantire un elevata qualità dell informazione. 14

15 La Data Governance non è una soluzione tecnologica; piuttosto è un insieme di strategie che si avvalgono di tecnologie per realizzare i propri obiettivi. Gli strumenti tecnologici a supporto della DG sono numerosi; alcuni dei principali sono: data integration application integration data quality data cleansing master data management Il lavoro del gruppo si è focalizzato sui primi due strumenti Data Quality per avere dati accurati e utili allo scopo atteso. Data Cleansing per la pulizia dei dati. Master Data Management per gestire i dati in comune alle principali aree di una organizzazione attraverso una vista unica. Esistono poi strumenti per la definizione di policy, di regole per il trattamento del dato, per il monitoraggio degli scostamenti dalle regole, ecc.. 15

16 Possiamo descrivere la Data Integration come l insieme delle attività e dei processi che permettono di combinare dati provenienti da sorgenti eterogenee (database, file di testo o XML, fogli di calcolo..) e distribuite, anche esterne, in una vista unica, al fine di effettuare attività sui dati integrati, garantendo così la possibilità di superare i tipici problemi di condivisione, e di rendere i dati fruibili per tutte le applicazioni e per i processi di un organizzazione. 16

17 L Application Integration si riferisce al processo d'integrazione tra diversi tipi di sistemi informatici attraverso l'utilizzo di metodologie, strumenti software e soluzioni architetturali. Si può dire quindi che l Application Integration garantisce l'interoperabilità tra sistemi eterogenei, che non comunicano tra di loro e per questo definiti molto spesso con il termine di silos; contemporaneamente essa permette di modernizzare, ma anche consolidare e riutilizzare le applicazioni esistenti e soprattutto di coordinarle tra di loro nell ambito dell organizzazione. 17

18 18

19 Generalmente un progetto di Data Integration coinvolge i seguenti passaggi: l accesso ai dati dalle diverse fonti di interesse, la loro combinazione nei modi più opportuni e infine la distribuzione nei contesti in cui sono necessari. Il progetto può essere semplice, da utilizzarsi una tantum o sporadicamente in contesti limitati, oppure anche molto complesso e riscorsivo e richiedere migliaia di job. I diversi modi attraverso i quali i dati possono essere combinati e distribuiti, la frequenza, ma anche la successione con cui vengono realizzate queste due fasi, danno origine a diverse metodologie di integrazione (1). (1) Data Consolidation (tramite ETL, creazione di un unico DB finale, di solito un DWH, ad intervalli prefissati) Data Propagation (tramite ETL, creazione di più Data Store, di solito dei Data Mart, destinati ad applicazioni o contesti diversi, realizzata con una cadenza più frequente e comunque al bisogno) Data Federation (tramite schema di collegamento, creazione di un Data Base Virtuale) 19

20 Uno dei più comuni processi di integrazione è il cosiddetto processo di ETL (Extract, Transform and Load). A partire da una sorgente di dati, che può essere costituita da fonti diverse (DB, file di diverso formato, WS), viene inizialmente effettuata un operazione di estrazione, una successiva trasformazione (*) e infine il caricamento in un sistema di sintesi (DB, file, Web Service ma anche un DWH, uno o più Data Mart, o anche un DB virtuale). (*) filtraggio dei dati di interesse, eliminazione dei duplicati, traduzione dei dati codificati (arricchimento), derivazione di nuovi dati calcolati, join di dati da differenti tabelle oppure raggruppamento 20

21 Le principali caratteristiche dei moderni tool di Data Integration sono: ambiente di sviluppo user-friendly, attraverso tool grafici di facile utilizzo, che utilizzano componenti e collegamenti tra di essi per disegnare un processo di integrazione dei dati supporto ai maggiori DB relazionali e a fonti di dati alternative servizi di trasformazione dei dati (1) supporto alle diverse metodologie di integrazione (2) (1) vedi slide precedente (2) vedi nota (1) slide 19 21

22 Alcune caratteristiche di Talend: interfaccia grafica basata su Eclipse (1) oltre 800 componenti preconfigurati che supportano tutti le sorgenti di data in entrata e in uscita (2) e ne consentono l integrazione e la trasformazione deposito comune dei metadati, che permette di memorizzare le connessioni alle fonti dati, sia che si tratti di DBMS relazionali che di file fisici, e di riutilzzarle all interno di un progetto generazione di codice Java, che permette anche di sviluppare parti complesse e personalizzate (1) noto e diffuso ambiente integrato di sviluppo (2) supporto a tutti DBMS più conosciuti, supporto per LDAP e ai protocolli come POP3, FTP, HTTP 22

23 23

24 File xml con dati docente relativo a insegnamenti 24

25 File csv con la decodifica del campo pds 25

26 I due file visti in precedenza sono in input. Talend, grazie ai suoi componenti, provvederà ad estrarre i dati dall xml ed a leggere i dati dal file csv (tabella di look-up) per convertire il codice. Per realizzare ciò i due file di input verrano definiti come componenti nel repository di Talend. I dati trasformati verranno archiviati in una tabella MySQL, per fare questo è necessario creare un componente (adapter) nel repository di Talend per creare la connessione al database. 26

27 27

28 28

29 29

30 30

31 Con l Enterprise Service Bus affrontiamo l integrazione tra applicazioni. ESB è un middleware moderno (dalle definizioni nei primi anni 2000 si passa alla diffusione a partire dal 2010 circa) L integrazione tra applicazioni è un concetto precedente a ESB (il riferimento è ad Enterprise Integration o, che è lo stesso, Enterprise Application Integration) 31

32 Prima di abbozzare una definizione prendiamo in considerazione dei modelli di integrazione/interazione I quadratini A, B, C H rappresentano applicazioni Modello di integrazione punto a punto implica accordi bilaterali, quindi utilizzo di tecnologie e processi dettati dalla contingenza con difficoltà a ricercare strumenti comuni. Modello a Bus e accordi multilaterali su metodi e tecnologie per stabilire almeno un software comune a livello aziendale e poter sfruttare le funzionalità messe a disposizione da ESB 32

33 Ci sono molte definizioni. Prendiamo la prima parte di una definizione dal libro di Nicolai M. Josuttis, SOA in Practice, 2007 La definizione continua con riferimento al fatto che un ESB può fornire altre funzionalità che hanno a che fare con la sicurezza, l affidabilità, la gestione dei servizi, e perfino le elaborazioni 33

34 Nella figura sono rappresentate varie applicazioni aziendali che interagiscono via ESB. ESB è un sistema complesso. Dettaglio dell ESB: un middleware con funzioni specifiche di mediazione che girano su runtime o veri e propri application server. Un ESB introduce degli standard in una organizzazione aziendale. 34

35 Non si affronta la SOA. L introduzione dell ESB permette, come abbiamo in parte visto, dei grossi vantaggi. Articolo: Two patterns for distributed systems: Enterprise Service Bus (ESB) and Distributed Publish/Subscribe: The ESB has a value beyond SOA and can be used for all types of distributed systems ma nello stesso tempo l ESB può essere una implementazione dell integration layer in ambito SOA 35

36 SOA Reference Architecture Technical Standard : Integration Layer L integration Layer permette il disaccoppiamento tra un provider di servizi e un consumer; ancora una volta si evidenzia il vantaggio di avere un soggetto mediatore e non una connessione diretta punto a punto 36

37 Prendiamo ad esempio la classica erogazione di servizi in ambito universitario a partire da applicazioni web based (silos) Fra gli ultimi anni 90 ed i primi anni 2000 è nata l esigenza di integrare dati e applicazioni (mainframe, Oracle, posta, ecc.). L integrazione era, a grandi linee, realizzata attraverso accordi bilaterali per stabilire quali dati scrivere/leggere su file system, con che formato, a quale ora, ecc. I file venivano spostati da un sistema all altro via FTP e da procedure batch. Questi sistemi rivisti e corretti funzionano ancora, ma per il futuro ha più senso usare le suite di integration. 37

38 I Web Services sono un passo in avanti eccellente ma: - non tutto può essere ridotto a servizio (necessità di accedere a file, tabelle, ecc.) - spesso nascono da accordi bilaterali - a volte una componente di mediazione offre delle funzionalità aggiuntive In questo caso vediamo la parte di front-end di un ESB sotto forma di servizi ESB Anche in questo caso ESB non va a sostituire i WS esistenti. In molti casi, la piattaforma ESB sarà il luogo ideale per esporre WS potendo sfruttare componenti dell ESB stesso. 38

39 Si fa l ipotesi di un dominio dedicato per l accesso ai servizi, con indicazione del dipartimento del dominio applicativo e del servizio. Questa modalità di comporre il nome del servizio in un ESB deriva da un progetto UCLA iniziato circa 3 anni fa. I servizi relativi alle dimostrazioni che seguiranno sono locali (sono nel PC) e l indirizzo farà riferimento a localhost. Per brevità non vengono date spiegazioni sul prodotto Talend, su WS, su WSDL, su SOAP, ecc.; l obiettivo è dimostrare con esempi la semplicità nella creazione di un servizio. 39

40 40

41 41

42 42

43 43

44 44

45 Riprendiamo con uno schema dell ESB di Talend (contiene la parte di Data Integration) Concentriamoci sulle possibilità di interazione verso l esterno; ad esempio - Web Service - Data sources - File - Protocolli - ecc. Non solo servizi, ma anche adapters per connessione a sistemi legacy (quindi middleware molto utile nella pratica) 45

46 Componenti di talend ESB: innanzitutto di strumenti di Operation and Management Le varie componenti possono essere raggruppate per tipologia: - Messaging (viene introdotta la notazione di un messaggio) - Routing (e relativa notazione di un message router) - Transformation (ad es. arricchimento o impoverimento di un messaggio, notazione arricchimento) - Processing (vere e proprie elaborazioni) -Ecc. Le notazioni sono ben descritte nel libro Enterprise Integration Patterns di Gregor Hohpe - esiste un sito dedicato - le notazioni possano essere utilizzate in microsoft visio e openoffice/libreoffice per descrizione di flussi ad alto livello e successiva implementazione in talend o ESB analogo - queste notazioni sono di fatto uno standard e sono precedenti alle implementazioni ESB 46

47 Come altri sistemi (FUSE di Red Hat) Talend è basato su progetti apache: vediamo solo CXF e Camel CXF permette a Talend di sviluppare web service in modo semplificato Secondo la notazione EIP (Enterprise Integration Patterns) un CXF exndpoint evidenzia il flusso in entrata a seguito della chiamata di un servizio web 47

48 Apache Camel ha un importanza fondamentale poiché implementa una parte degli EIP. Nella figura oltre alle notazioni già viste ci sono delle code e dei quadrati non meglio specificati (sulla destra) Il messaggio viene instradato sulla base di una condizione impostata nel message router. Nella dimostrazione che segue verranno riproposti questi componenti. 48

49 49

50 50

51 51

52 Dal nostro database oracle 10gR2 non si riesce a interagire direttamente con i web service via PLSQL, quindi, viene usato una sorta di bypass sviluppato con Ruby on Rails che converte in chiamata ai ws di UGov i parametri presenti nella chiamata http fatta dalla procedura del db Giada. 52

53 53

54 54

55 55

56 I due componenti principali del job sono toraclesp per la connessione alla procedura PLSQL del db Oracle e tsoap per richiamare il ws di UGov. 56

57 La connessione al db è già stata memorizzata nel repository di Talend per essere condivisa dai job/servizi che ne necessitano; in questo caso viene infatti riutilizzata. 57

58 Esempio di chiamata SOAP al metodo modificapersona del web service PersonaFisica di UGov; il testo della richiesta SOAP è stato generato con SOAP UI poi nel testo sono stati sostituiti i richiami ai parametri del flussotalend. 58

59 59

60 60

61 61

62 Spazio Domande 62