Data Warehousing in Compass: una realtà in movimento

Transcript

1 Data Warehousing in Compass: una realtà in movimento Autori: Stefano Parisi (Compass SpA) Giuseppe Marcon (Simbologica Srl) Claudia Alzetta (UP-Tecno SpA) Abstract. Il presente articolo descrive le più significative esperienze nel campo del Data Warehousing con SAS System presso COMPASS S.p.A., società leader in Italia nel mercato del credito al consumo. SAS System, presente in Compass S.p.A. da diversi anni, rappresenta il riferimento aziendale per:! attività di Infocenter,! controllo di gestione,! analisi del rischio di credito,! analisi di marketing. Nell ultimo anno è stata completata una consistente fase di migrazione dei principali Data Warehouse preesistenti, Data Mart e di numerose applicazioni SAS/AF da piattaforme Host/MVS verso piattaforme dedicate al Data Warehousing e basate su sistemi operativi Windows/NT e Vax (Digital). Attualmente è in corso di realizzazione un progetto per l impiego di SAS nella produzione e diffusione di reportistica aziendale via Intranet (WEB Exploitation), utilizzando standard HTML e PDF. La presentazione fornisce una panoramica degli strumenti SAS utilizzati e delle soluzioni tecniche adottate per superare con successo le fasi di migrazione delle basi dati e delle applicazioni, raggiungendo la piena soddisfazione degli utenti. COMPASS S.P.A. ed il mercato del credito al consumo. Nata nel 1960, Compass S.p.A. opera nel credito al consumo per finanziare gli acquisti di beni durevoli, semidurevoli e servizi da parte di privati. Compass, da sempre, si pone un obiettivo preciso: aiutare i propri convenzionati a vendere di più e meglio. Per questo, ha scelto di avvalersi esclusivamente di una rete di vendita diretta presente su tutto il territorio nazionale. Molti e selezionati esercizi commerciali si avvalgono del servizio Compass nei vari settori: auto, moto, ciclomotori, mobili ed arredamento, nautica, caravan e roulotte, foto, video e hi-fi, elettrodomestici, idro-termo-sanitari, gioielli, computer, telefonia, viaggi e vacanze, centri estetici, etc. Oltre tre milioni sono le famiglie che Compass ha finanziato e non è un caso se, nel corso degli anni, migliaia di clienti abbiano perfezionato anche più di dieci finanziamenti. Nella vasta gamma di possibilità operative proposte da Compass è possibile personalizzare i finanziamenti, per soddisfare al meglio le esigenze dell esercizio commerciale e quelle del cliente finale. Tante possibilità di dilazione su misura unite alla semplicità dell istruttoria e alla velocità di liquidazione del finanziamento diventano fattori decisivi per lavorare con sicurezza e conquistare la fedeltà del cliente. Perché SAS System. Attualmente SAS System si colloca all interno di COMPASS S.P.A. come lo strumento principe per le attività di Information Delivery. Gli archivi realizzati con SAS System si situano ad un livello intermedio fra le applicazioni gestionali e gli utenti COMPASS svolgendo funzioni di standardizzazione ed integrazione dei dati e separando in modo netto, almeno dal punto di vista logico, le attività di produzione da quelle di analisi e ricerca. Non essendo nato come puro sistema di gestione di DataBase relazionali per ambienti transazionali, SAS System svolge ottimamente il ruolo di Data Warehouse, massimizzando le prestazioni e semplificando le attività di analisi e reporting degli utenti per grandi masse di dati. Test effettuati negli ultimi anni hanno sempre confermato la leadership di SAS System negli ambienti di Data Warehousing sia per gli aspetti prestazionali che per la ricchezza di funzionalità, rispetto ai più comuni sistemi di DataBase e Data Warehouse presenti sul mercato (es: Oracle, MS-SQLServer, DB2, ADABAS, ecc.). Le ragioni principali di tale superiorità sono da ricercarsi nella filosofia di archiviazione dati di SAS System che nasce espressamente per l Information Delivery e non per le applicazioni transazionali e nell elevata percentuale di risorse dedicate da SAS System alla ricerca su questo campo di interesse. Parallelamente gli strumenti di produttività individuali nell ambito dell Office Automation, quali MS-Access e MS-Excel, e di WEB Browsing quali Acrobat Reader, MS Explorer e Netscape hanno giustamente raggiunto un vasto apprezzamento fra gli utenti dotati di Personal Computer, come nel resto del mercato mondiale. Molti utenti riconoscono in questi strumenti la semplicità e la flessibilità necessari al loro lavoro. Le applicazioni realizzate con SAS System riescono a distribuire i dati certificati verso questi prodotti con grande flessibilità e completezza. L attività di migrazione recentemente svolta. Grazie alle caratteristiche multi-vendor di SAS System è stato possibile realizzare la migrazione totale di numerosi DW ed applicazioni in pochi mesi raggiungendo la piena soddisfazione degli utenti, soprattutto grazie ad una completa revisione dei dati e delle applicazioni ed a soluzioni architetturali altamente veloci e robuste. 1

2 Le principali richieste degli utenti, che hanno motivato l attività di migrazione, nascevano dall unanime riconoscimento che la vecchia base dati SAS su HOST MVS fosse del tutto inadeguata, in quanto semplice fotocopia di parte della base dati presente in ambiente gestionale, e che le applicazioni SAS System presenti su Host rallentassero in modo significativo i processi dell ambiente di produzione. L obiettivo principale atteso dagli utenti e perfettamente raggiunto è la generazione di una nuova base dati SAS, fondata su processi di estrazione ed aggregazione dei dati gestionali, che venisse incontro alle reali esigenze degli utenti e fosse mirata a coprire le problematiche emerse. La soluzione strategica fondamentale è stata quella di ricostruire il Data Warehouse SAS su un server dedicato. Metodologicamente si è proposta una soluzione hardware e software raggiungibile tramite l implementazione graduale di passi successivi, indicando per ogni passo i tempi e i macro-costi di realizzazione. Le principali motivazioni alla migrazione: Numerose interviste sono state svolte presso le direzioni e gli uffici interessati coinvolgendo il personale Compass. La seguente figura sintetizza le risposte principali ricorrenti rilevate durante le interviste, mentre una traccia sintetica di ogni intervista alle direzioni è stata descritta nelle appendici ad un ingente studio di fattibilità. Scenario precedente. Il seguente schema sintetizza lo scenario precedente alla ristrutturazione: Sinteticamente le osservazioni ricorrenti degli utenti possono essere tradotte nelle seguenti valutazioni tecniche: # Dati lontani dagli utenti. # Linee di telecomunicazione lente fra le due Lan aziendali. # Carenza di risorse Host più facilmente ottenibili su altre piattaforme Hardware. # Organizzazione degli archivi non corrispondente alle necessità d uso. Gli uffici degli utenti erano separati in due Lan collegate geograficamente da una linea dedicata a velocità abbastanza obsoleta alla luce delle moderne tecnologie di telecomunicazione e dei tariffari a disposizione di Telecom e degli altri gestori nazionali. I dati gestionali ed il Data Warehouse Infocenter risiedevano presso la sede EDP di COMPASS S.P.A., mentre la maggior parte degli utenti risiedevano presso la Lan della sede centrale, sempre a Milano ma in una zona geograficamente separata dall EDP. Questa dislocazione delle risorse favoriva i processi di alimentazione dalle basi dati gestionali, sfavorendo gli accessi da parte degli utenti che desiderano sempre estrarre in continuazione ingenti quantità di dati da trasferire sulle loro postazioni SAS/PC per le analisi direzionali (Marketing, Controllo di gestione, Analisi del rischio etc ). Tecnicamente parlando, la base dati SAS dell azienda era collocata su Mainframe MVS presso il centro EDP. La presenza della base dati SAS sul Mainframe aumentava il numero di elaborazioni su HOST ed impediva di sfruttare pienamente le potenzialità di SAS System, in particolare a causa di: # limitazioni nella durata di sessione su MVS # tempi di accesso elevati, (dovuti alla disorganizzazione degli archivi e al numero degli utenti che si condividono le risorse HOST) # velocità di trasferimento inadeguate dei dati SAS da Host MVS presso il centro EDP a PC presso la sede centrale # limitazioni di spazio e risorse hardware # collisioni fra processi gestionali e processi di estrazione ed aggregazione dei dati associati alla gestione della base dati SAS. La presenza di grandi archivi su diversi Server o PC Windows sparsi per l azienda oltre che su Host, aumenta le potenziali ridondanze ed il rischio di inaffidabilità delle fonti dei dati per le analisi statistiche, nonché moltiplica il numero delle licenze e dei prodotti software dedicati a tali attività.

3 La seguente figura sintetizza idealmente la soluzione finale alle problematiche rilevate presso gli utenti. Scenario attuale. Il seguente schema mostra lo scenario architetturale Hardware/Software attuale: Lo sviluppo di un nuovo ambiente dislocato su server completamente dedicato alle applicazioni ed al Data Warehouse Infocenter, riorganizzato applicativamente, basato su una struttura di dati più moderna, secondo una filosofia di Data Warehouse storico a vari livelli di aggregazione e fruizione dei dati, è la soluzione migliore in grado di risolvere tutte le problematiche degli utenti relative alla carenza di risorse Hardware e Software, alla difficoltà generale di raggiungere i dati di cui si ha bisogno, e di stimolare la fruizione produttiva delle informazioni insite nell azienda al fine di aumentarne la competitività, la resa economica, la capacità di sviluppare il business. La scelta di un ambiente Hardware separato dai preesistenti è sostenuta da osservazioni teoriche generali che vedono in un sistema hardware dedicato la massimizzazione della resa del Data Warehouse ed è sostenuta dal punto di vista pratico dalla precedente ricorrente lamentela riguardante l assenza di risorse adeguate e le collisioni tra processi applicativi gestionali e di aggregazione dei dati su Host. L uso di SAS System, leader mondiale nel Data Warehousing e strumento largamente già presente in azienda, garantisce la capacità di adeguarsi rapidamente alle esigenze aziendali presenti e future mantenendosi sempre ai vertici della tecnologia disponibile. Rispetto allo scenario precedente, lo scenario architetturale Hardware/Software attuale prevede un nuovo server NT per SAS, denominato Server-DW, in grado di sostituire in modo più efficiente le funzionalità di Data Repository dell Host. Si è interposto tra i due ambienti informativi: il centro EDP in cui sono dislocati gli ambienti gestionali e la sede centrale ove sono presenti la maggior parte degli utenti. Fisicamente il Server-DW, e quindi il Data Warehouse, risiede in sede centrale, più vicino agli utenti: i flussi di dati estrapolati dal Data Warehouse sono ingenti e solo tramite una Lan con linee di comunicazione ad alta velocità (FAST- Ethernet) è stato possibile soddisfare le esigenze degli utenti direzionali e massimizzare l uso dei dati. La linea che collega geograficamente le due Lan è stata potenziata onde evitare che i processi notturni di alimentazione del Data Warehouse siano impossibilitati ad operare in tempi sufficienti a fornire l operatività al mattino, prima che gli utenti si colleghino alle postazioni di lavoro. Il costo per l aumento della velocità di linea è risultato economicamente irrilevante e ha portato giovamenti a tutti gli utenti delle due Lan. Una nuova organizzazione dei dati secondo metodologie di Data Warehouse ha permesso di distribuire informazioni certificate e di più facile fruizione. Scelta piattaforma hardware per il nuovo server-dw. Per la scelta del server dedicato al Data Warehousing si sono svolti diversi test con server e sistemi basati su NT, MVS, SUN/Solaris. Sostanzialmente, al di là di scelte soggettive basate su esperienze unilaterali, le macchine Unix/Sun sono più stabili e quindi in grado di fornire un migliore livello di servizio oltre a raggiungere prestazioni più elevate e gradi di scalabilità maggiori delle risorse HW. D altro campo le macchine NT basate su tecnologia Intel hanno costi molto inferiori, erano già presenti

4 largamente in azienda e conosciute dal gruppo di Informatica Individuale, il principale gestore del nuovo Server per il Data Warehousing. Benefici ottenuti dal porting. I principali benefici si sintetizzano nei seguenti punti:! Prestazioni, flessibilità di accesso in rete etc.! facilità di accesso al dato specifico;! certificazione dei dati;! maggiore fruibilità dell informazione nei processi decisionali. Grazie alla ristrutturazione effettuata della base dati SAS sul Server-DW dedicato alle attività di Information Delivery, è stato possibile sfruttare maggiormente le potenzialità offerte da SAS System. In particolare è ora possibile: # sviluppare ed aggiornare le applicazioni SAS/AF perché accedano ai dati situati sul nuovo server in modo diretto, veloce, senza limiti di time-out # sfruttare SAS Enterprise Reporter per estrarre dati e creare report in modo diretto appoggiandosi a protocolli TCP-IP; # facilitare l esecuzione di query per l utente, facilitandone l estrazione anche con nuove interfaccie SAS/AF; # introdurre nuove statistiche e report eseguibili in ambiente client-server con minori limitazioni di CPU e spazi di organizzazione dei dati. prodotto di reportistica da prendere a riferimento in sostituzione di almeno parte dei report attualmente realizzati dagli strumenti di Office automation esterni a SAS System quali MS/Excel e MS/Access. Potendo SAS Enterprise Reporter accedere rapidamente e facilmente ai dati, il suo utilizzo più approfondito ha ridotto la dispersione dei dati introducendo una maggiore standardizzazione dei report fra gli utenti SAS. Lo strumento principe per l analisi strutturata dei dati messo a disposizione da SAS System è certamente SAS Enterprise Miner, che pur richiedendo competenze specifiche da parte dell utente, è utilizzato in modo più produttivo avendo a disposizione informazioni e risorse Hardware/Software migliori. La presenza di Data Warehouse Administrator facilita la costruzione della nuova base dati SAS, in quanto gestisce facilmente i metadati necessari per generare o importare i dati. E stato possibile popolare il Data Warehouse Administrator a partire dalla lettura del file di export del modello E-R (entity-relationship) di Bachman. Attualmente è in corso la divulgazione dei dati alla periferia dell azienda tramite pagine HTML/PDF statiche generate periodicamente (settimanalmente od anche giornalmente) da SAS System sfruttato quale flessibile strumento per la rappresentazione dei dati via Intranet (WEB- Exploitation). Lo schema seguente riassume le modalità di fruizione del DW: Struttura Base Dati La struttura dati degli archivi Operazionali del Data Warehouse, quelli che ricevono per primi i dati gestionali dal Mainframe, su richiesta degli utenti è stata disegnata mantenendola ad un livello di struttura molto simile alla preesistente, per facilitare le estrazioni degli utenti abituati ad avere una visione di questo tipo dei dati e dotati di numerosi programmi SAS e query SAS/SQL impostate su tale struttura. Ovviamente alla nuova struttura dati sono stati apportati alcuni miglioramenti nel legame di alcune tabelle, in modo da superare gli ostacoli preesistenti all esecuzione di alcune query. Sono in fase di realizzazione alcuni Data Mart tematici che attingono i dati dagli archivi operazionali del Data Warehouse. Strumenti di fruizione del DW. L utilizzo di SAS/ASSIST per la generazione di query estemporanee, e l utilizzo di Excel come strumento di calcolo e reporting sono considerati adeguati alla maggior parte delle esigenze attuali degli utenti e, con la nuova architettura Server-DW, SAS Enterprise Reporter è diventato uno strumento di reporting di facile utilizzo per gli utenti finali e anche il Soluzioni adottate nel campo della sicurezza interna e riservatezza dei dati. Grazie alle caratteristiche multi-vendor di SAS System è stato possibile realizzare il Porting totale di numerosi DW ed applicazioni in pochi mesi. Grande attenzione è stata posta alla gestione della sicurezza dei dati e della riservatezza. Per ottenere il massimo dei

5 risultati in ambito del controllo accessi si sono adottate più soluzioni contemporaneamente aderenti a differenti filosofie e linee guida: $ Gli utenti abilitati ad accedere a SAS hanno una identica configurazione sia dal punto di vista dell utente NT locale, che remoto, che dell utente applicativo SAS. Gli utenti possono quindi accedere alle applicazioni SAS solo tramite il medesimo utente con cui si sono inseriti in rete. $ Ogni accesso applicativo degli utenti viene archiviato in file di log apposito, criptato e cifrato da password. $ Gli operatori possono controllare centralmente tutti gli utenti attivi, i PID dei processi attivi e dei programmi Sas associati, i processi remoti attivi sia che siano Batch SAS, che utenti interattivi del server, che utenti gestiti in Client-Server. $ I dati del DW sono divisi in directory separate e gli accessi degli utenti alle singole sono gestiti direttamente dal gestore interno della sicurezza. $ Esistono aree di lavoro separate per utente ed ufficio ed ogni ufficio/utente non può vedere le aree di lavoro degli altri. $ Ogni applicazione SAS è associata ad una singola directory. Il gestore della sicurezza può stabilire per ogni utente applicativo SAS (coincidente con quello NT) a quale directory applicativa può accedere e quindi a quali applicazioni SAS può accedere. Il menù principale descritto dalla seguente frame controlla ad ogni apertura l elenco delle applicazioni a cui l utente può realmente accedere controllando l effettiva possibilità da parte degli utenti di accedere alle directory associate ad ogni singola applicazione. Quindi presenta un menù ad icone dinamico con la lista delle sole applicazioni a cui può effettivamente accedere. Applicazioni SAS/AF. La maggior parte delle applicazioni SAS/AF implementate sono costruite in modo intuitivo ed User- Friendly, richiedono all utente di impostare alcuni parametri tramite oggetti interattivi, liste di valori e controlli avanzati. Le seguenti due frames mostrano una applicazione AF tipica: estrae dati dal Data Warehouse in base a parametri interattivi, elabora statistiche commerciali e ne presenta un report in varie forme. Come intuibile dai controlli della precedente frame, la maggior parte delle applicazioni SAS/AF realizzate sono in grado di presentare agli utenti il risultato delle elaborazioni sia in formato tradizionale sulla finestra di output tramite report a carattere, sia visualizzando i dati estratti ed elaborati in formato tabellare, sia esportando i dati ottenuti verso strumenti di office-automation quali MS-Excel, od infine producendo pagine HTML e/o PDF da pubblicare nella Intranet Aziendale. Menu ad icone dinamici in funzione degli accessi effettivi alle singole appl. SAS/AF

6 Soluzioni WEB adottate. La maggior parte delle applicazioni realizzate è in grado di produrre automaticamente e dinamicamente una grande mole di pagine HTML e secondo standard PDF visibile utilizzando strumenti quali Acrobat Reader. Le pagine HTML e PDF sono costruite tutte utilizzando SAS System non solo come motore per l estrazione e l elaborazione dei dati ma anche come formattatore dei Tag HTML o costruttore delle pagine PDF strutturate in modalità carattere per i report massivi e modalità grafica per i report direzionali di maggiore sintesi ed impatto. Le immagini 1-4 mostrano una delle soluzioni più potenti ed accattivanti (per ragioni di riservatezza i dati visualizzati sono frutto di fantasia e sono stati mascherati). In questa soluzione gli utenti navigano all interno di pagine HTML, generate dinamicamente da SAS System, multi frames. La frame di sinistra svolge il ruolo di navigatore multilink e permette agli utenti di scendere lungo un percorso dimensionale ben preciso. Nella frame di destra vengono invece mostrati i report grafici generati da SAS e trasformati in PDF da Acrobat Distiller selezionati dall utente lungo il percorso di navigazione. L utente è in grado di effettuare selezioni, zoom e ricerche di testo grazie alle funzionalità del Plugin Adobe di Acrobat Reader. Tutte le pagine HTML ed i PDF sono pre-generate, rispondono in tempi rapidissimi e permettono di miscelare in modo accattivante grafici e tabelle multidimensionali di sicuro impatto. La visualizzazione e la stampa degli stessi report grafici è perfetta con qualsiasi stampante, qualsiasi browser recente ed in qualsiasi situazione grazie alla standardizzazione del linguaggio post-script PDF. Immagine 1 Livello generale (Dati fittizi) Ambiente HTML multiframe per la navigazione WEB Report grafici PDF prodotti da SAS System e visualizzati tramite Plug-In Adobe