Missione Gaia: ALTEC, DPAC, DPCT

Transcript

1 Missione Gaia: ALTEC, DPAC, DPCT Teramo, 12 Marzo 2015

2 AGENDA ALTEC Infrastrutture di ALTEC Centri di Controllo e Gestione Dati Principali Programmi in Corso DPAC Gaia Data Flow Architetture dei DPCs DPCT Scopo del DPCT Operazioni del DPCT Pipelines : Daily e DRC Infrastruttura...Oltre la missione Gaia Da Gaia DPCT ai Big Data Date Page 2

3 Cos è ALTEC E il centro di eccellenza italiano per la fornitura di servizi ingegneristici e logistici a supporto delle operazioni e dell utilizzazione della Stazione Spaziale Internazionale e dello sviluppo e della realizzazione delle missioni di esplorazione planetaria. E una società pubblico-privata partecipata da Thales Alenia Space (51%), dall Agenzia Spaziale Italiana (29%) e dal consorzio pubblico ICARUS (20%) costituito dagli enti locali (Regione, Provincia, Comune, Camera di Commerco) e da Finmeccanica. Ha sede a Torino in corso Marche ed ha proprio personale distaccato presso NASA-JSC e presso i centri EAC e Col-CC. Date Page 3

4 Le Infrastrutture di ALTEC Sale Controllo, organizzate in maniera flessibile e sicura per supportare in remoto missioni di vario genere. Laboratori e camere pulite (e.g., l OPSYS, con una Optical Vacuum Test Chamber realizzata dall INAF), per l integrazione e test di materiale e strumenti di volo. Aree predisposte per le attività di sviluppo di future missioni planetarie (e.g. il Mars Terrain Demonstrator). Una piscina configurata come Neutral Buoyancy Test Facility NBTF, per simulazione di operazioni ambiente a gravità ridotta. A partire dal DPCT (Data Processing Center Torino) di GAIA, infrastrutture di elaborazione dati scalabili per future applicazioni. Un auditorium e aree di incontro ed esibizione per scopi didattici e divulgativi. Page 4

5 ALTEC è ospitata all interno del Centro Multi-Funzionale Spaziale. Le Infrastrutture ALTEC per i centri di Controllo e Gestione Dati Collegamento diretto al nodo del GARR di Torino (fin dal 1998) con un link a 1Gbps (300 Mbps garantiti) e dispone di un collegamento secondario con la rete COLT (attraverso COLT ALTEC dispone di accessi base ISDN). Collegamento alla rete ASINET per la ricezione dei dati real time dell ISS, incluso i flussi audio e video. Attraverso ASINET ALTEC è collegata alla stazione di terra di Malindi. Sala server con circa 30 rack e 70 server per l hosting delle infrastruttere ICT a supporto delle attività e dei programmi aziendali. Integrazione con il super computer italiano gestito dal CINECA per utilizzarne la potenza di calcolo. Sale missioni dedicate alle attività operative. Date Page 5

6 Principali programmi in corso ESPLORAZIONE PLANETARIA EXOMARS STEPS 2 A partire dalle competenze sviluppate nell ambito dell ISS, ALTEC ha acquisito dei ruoli significativi nello sviluppo e nella gestione operativa di Centri di Controllo e Gestione Dati. CENTRO CONTROLLO E GESTIONE DATI IXV GAIA SMAT F2 SUPPORTO ISS P,, PMM LOGISTICS CENTER ESC FLIGHT CONTROL TEAM CREW TRAINING HUMAN SPACE FLIGHT & BIOMED Page 6 ISS EXPLOITATION

7 Programma IXV ALTEC ha avuto la responsabilità della progettazione, realizzazione e messa in opera del Segmento di Terra di IXV, il cui lancio è avvenuto con successo l 11.Feb ALTEC ha inoltro condotto le operazioni di terra durante il lancio ricoprendo i ruoli di Manager di Stazione (per Libreville e Nave di Recupero) e di controllo di terra (Ground Controller) all MCC, in stretta correlazione col team integrato a guida ESA. Il segmento di terra di IXV ha fornito gli elementi di interconnessione dati, voce e video del Mission Control Center in ALTEC con la base di lancio CSG in Guyana Francese, le ground stations di Libreville, Malindi e quella installata sulla nave di recupero Nos Aries. Il tutto ha permesso di monitorare in tempo reale le fasi di volo di IXV, ricevendo i dati di TM dalle stazioni di terra e processando li stessi in MCC Il collegamento con la ground station di Malindi è avvenuto attraverso il collegamento di ALTEC ad ASINET utilizzato per le operazioni della ISS. Il Mission Control Center di IXV è stato sviluppato come estensione del Mission Support Center dedicato al supporto operativo ai moduli MPLM/PMM. Il Mission Control Center è oggi un Centro Multi-Programma grazie alla realizzazione di una architettura virtualizzata che ne consente la utilizzazione indipendente pur nel rispetto di stringenti requisiti di sicurezza. Page 7

8 Programma IXV T T (T min T min) d: ~ 7 min. H: km V: km/h T T (T min T min) d: ~ 8.2 min. H: km V: km/h 3 INMARSAT (Terrestrial) 2 INMARSAT (Naval) T T (T min T min) d: ~ 12.7 min. H: 30 km V#1: km/h V#2: km/h CSG LCC Kourou Libreville Tel. Kit (TM) Malindi BSC Audio & Video Communication 2 ASINet (ISDN) 3 1 Voice & Trajectory Data Link Telemetry Link with IXV EGSE Mission Control Center ALTEC Recovey Ship TM Antenna Page 8

9 SMAT-F2 SMAT è un progetto di ricerca co-finanziato dalla Regione Piemonte per definire un Sistema di Monitoraggio Avanzato del Territorio basato sull utilizzo di Aeromobili a Pilotaggio Remoto (APR). Il sistema si prefigge di offrire la sorveglianza continuativa di aree estese (per esempio una intera Regione) per prevenzione e controllo applicati ad una vasta gamma di eventi e problematiche, tipicamente alluvioni, incendi, frane, traffico, urbanistica, inquinamento e coltivazioni (con APR di classe MALE e MAME), ma anche di eseguire missioni estremamente localizzate (con APR di classe LIGHT, MINI, MICRO). Le missioni e l attività integrata dei velivoli sono coordinate da una Stazione di Supervisione e Coordinamento (SSC), che avrà il compito di pianificare le missioni sulla base delle richieste operative degli utilizzatori, monitorare l esecuzione della stessa, collezionare tutti i dati acquisiti, processarli, archiviarli, e renderli disponibili in modo opportuno all utente finale. ALTEC nella fase 2 ha la responsabilità completa del coordinamento e degli aspetti sistemistici legati alla SSC ed al segmento di comunicazion ATC MALE CS LOGISTIC Infrastructures External Communica tion Network MAME CS Internal Communica tion Network SSC Light UAV CS End- Users Mini/Micr o UAV CS Page 9

10 GAIA DPCT Sotto contratto ASI e in stretta connessione con l INAF-Osservatorio Astronomico di Torino, ALTEC ha progettato, realizzato e conduce il Data Processing Center Italiano per il Programma GAIA, che fa parte di una rete di 6 Centri Europei. Page 10

11 The Gaia Data Flow Date Page 11

12 DPAC

13 DPAC Architetture Ogni DPCs ha implementato la propria specifica architettura sebbene esistono alcune similirità tra le architetture dei DPCs. DPCs che utilizzano il framework di gestione del processing sviluppato all interno del DPAC e che utilizza un repository centralizzto sia esso un filesystem sia esso un database. DPCB HDF5 + Marenostrum Filesystem DPCE Intersystem Caché DPCG Postgres XC DPCT Oracle RAC DPCs che utilizzano Hadoop come sistema di gestione dei job di processing e come gestore dei dati. DPCC DPCI

14 Perchè il DPCT Il DPCT rappresenta un contributo importante dell Italia alla missione Gaia Due sono i requisiti/obbiettivi primari dello sviluppo del DPCT Requisiti specifici di missione Realizzare l Astrometric Verification Unit (AVU) della missione, attraverso l esecuzione giornaliera delle pipeline dei sistemi scientifici AIM e BAM, e l esecuzione ciclica (DRC) del sistema GSR; Ospitare ed integrare l Initial Gaia Source List (IGSL) DB, Supportare l esecuzione dell esperimento GAREQ. Obbiettivi di medio-lungo termine Fornire l infrastruttura, il SW, i processi, le reprocessing capabilities, i dati e le competenze a supporto della comunità scientifica Italiana per il massimo utilizzo di tutti i risultati della missione, Questo aspetto va ben oltre l accesso e lo sfruttamento scientifico del catalogo (prodotto dal consorzio DPAC), permettendo l accesso e l estrazione di dati dal Mission Data Base di cui il DPCT manterrà copia.

15 GAIA DPCT Il DPCT fornisce l infrastruttura (in termini di HW, framework SW, DB e sistemi di comunicazione a 1Gbps) per l esecuzione dei sistemi di AVU (Astrometric Verification Unit). Il framework SW dell infrastruttura ha il compito di gestire la ricezione automatica dei dati, il loro trattamento iniziale, l inserimento nel DB, la pianificazione e il controllo dei processi SW distribuendoli sui vari processori dei server del centro in base al carico, il controllo delle risorse, la generazione dei risultati, il salvataggio nel DB, il loro invio al centro ESAC, la gestione delle notifiche e del backup dei dati. Tutto in automatico. Il DPCT ospita i sistemi appartenenti all Astrometric Verification Unit (AVU): AIM - Astrometric Instrument Model data analysis software system, BAM - Basic Angle Monitoring, GSR - Global Sphere Reconstruction, ovvero i sistemi che per il DPAC effettuano la verifica indipendente della catena di riduzione dati astrometrica (e che daranno quindi valore scientifico ai risultati prima del loro rilascio alla comunità scientifica mondiale). Il DPCT custodirà tutti i dati grezzi acquisiti nel corso della missione. Page 15

16 DPCT Daily Pipeline DPCE gbin gbin BAM AIM MDB gbin gbin Ingestion Ingestion 50GB each day Time Infra Management DPCT Retraction Ingestion REPDB Backup Data Management Init / Pre Processing Raw Data Processing Monitoring/ Analysis Weekly Analysiis Extraction Daily Report LOCALDB Raw Data Processing RDP Monitoring Daily Calibration Trends Analysis Daily Report 0 24 Weekly modules Fine Selection Fine Calibration Date Page 16

17 Operazioni di Missione Le operazioni di missione del DPCT sono iniziate con il lancio del satellite il 19.Dic.2013, e la ricezione continuativa dei dati di housekeeping del satellite A partire dal 3.Gen.2014, con la progressiva accensione dello strumento, è iniziato il processing dei dati di missione per il supporto alle attività di commissioning del satellite e di calibrazione della strumentazione (3/1/14 BAM, 31/1/14 AIM) Il commissioning del satellite si è concluso il 15 luglio 2014 ed è iniziata la missione scientifica Ad oggi, sono stati eseguiti circa 410 processamenti completi del BAM e cira 400 di AIM, con la trasmissione al DPCE dei daily reports e dei dati calibrati. Il DB del DPCT ha oggi raccolto 55 TB di dati. In parallelo alle attività operative, proseguono quelle di sviluppo e finalizzazione del sistema GSR che entrerà in funzione a fine del 2015, e la sua integrazione sia a livello di DPCT che di DPAC.

18 DRC Pipeline DPCE gbin gbin GSR MDB gbin gbin Ingestion System Coefficient Generation First MDB 20 TB... Last MDB 100 TB Ingestion Solution Ingestion Solver fits DPCT Infra Management 1 cycle minimum 6 months DPCT Repository Backup Data Management Solution Analysis Extraction Processing DB Solution Rotation GSR-AGIS Comparison CINECA End Ciclo n End Ciclo n + 1 Date Page 18

19 GAIA DPCT Sinergie con OATo-INAF Il lavoro del DPCT è caratterizzato da una stretta collaborazione tra team scientifico e team industriale e utilizza la infrastruttura del centro di controllo/project office@altec 18/07/2014 Page 19

20 GAIA DPCT Infrastruttura HIGH PERFORMANCE AND RELIABLE PLATFORM INTERNET LINK: 1Gbps (300 Mbps guaranteed) via GARR network. INITIAL STORAGE CAPACITY: 432 TB overall disk space (144 TB high performance disks and 288 TB high capacity disks) distributed between two indentical HP P7400 storage units. FINAL STORAGE CAPACITY: 1 PetaByte at the end of Gaia mission on multiple storage. PROCESSING CAPACITY: 16 servers HP DL580 G7 with a total of 512 CPU cores and 4TB RAM. DB SERVERS: 4 HP DL580 G7 dedicated to the database cluster based on Oracle RAC technology. NETWORK CONNECTION: LAN network up to 10 Gbps. SAN network redundant at 8 Gbps. SECURITY SERVICE: redundant firewall based on pfsense, enabling secure remote access via VPN. INFRASTRUCTURE MONITORING AND MANAGEMENT: services based on VMWare virtual environment configured with two HP DL 580 G7 servers clustered and managed by vcenter Server. BACKUP SYSTEM: first level on storage disks and second level on tape library (HP ESL G3). HPC INTERCONNECTION: access to HPC super computer at CINECA for dedicated processing. Page 20

21 Gaia DPCT Tecnologie acquisite 1/2 Progettazione ed operazione di una infrastruttura HW «very large» and «reliable», sia in termini di storage (oltre i 500 TB) sia di processamento (oltre 500 cores). Tecnologie innovative di gestione di dati su volumi fisici distribuiti in unità di storage differenti (es. thin provisioning, snapshots, remote copy, disk-to-disk backup, disk-totape backup,etc) e tecnologie di Storage Area Network per gestione accessi dai servers (FC 8 Gbps). Realizzazione di un framework SW scalabile e distribuito per il processamanto automatizzato ed unattended di SW scientifici. Design, sviluppo, implementazione e gestione di «very large and high performance database» basati su prodotti Oracle. Design ed implementazione di SW complessi in linguaggio object oriented. Page 21

22 Gaia DPCT Tecnologie acquisite 2/2 Tecnologie di virtualizzazione per la gestione dei componenti di servizio dell infrastruttura. High performance network (10 Gbps). Sistemi di scambio dati con altri centri su Internet a banda larga (fino a 1 Gbps) e completamente automatizzati. Gestione degli aspetti di sicurezza informatica e servizi di accesso remoto all infrastruttura attraverso VPN e certificati digitali. Integrazione end-to-end di servizi di High Perfomance Computing (HPC) offerti in remoto dal super-computer «Fermi» del Cineca, per eseguire specifiche parti della pipeline scientifica. Page 22

23 ...oltre la missione GAIA Al termine della missione Gaia il DPCT ospiterà l intero database della missione, i prodotti intermedi rilasciati al termine di ogni ciclo e i dati grezzi. I dati di Gaia dovranno essere disponibili ancora per molti anni alla comunità scientifica per l esecuzione di nuove calibrazioni e a supporto di nuovi esperimenti scientifici. Dovranno essere disponibili nuovi strumenti e nuove metodologie per sfruttare al meglio l enorme mole di informazioni collezionate. Si prevede anche un utilizzo tecnologico dei dati raccolti, a supporto delle fasi di definizione di future missioni spaziali, per gli aspetti di: navigazione spaziale, studio del degrado dei componenti elettronici causato dall esposizione alle radiazioni per lunghi periodi.

24 Da Gaia DPCT ai Big Data La missione GAIA pone un problema di analisi dati, sia quelli acquisiti dal satellite che generati a terra, legato alla loro enorme quantità. Il problema del processamento dati è stato affrontato e risolto per gli obiettivi specifici della missione. Non è detto che l approccio ed i metodi adottati siano ottimali in una fase di exploitation scientifica dei dati della missione, dove nuovi approcci, metodologie e tecniche saranno richiesti. Per questa ragione, e tenendo conto della vasta attività di ricerca e sviluppo sulla problematica della gestione di grandi moli di dati, nota con il termine di Big Data, ALTEC ha aderito come partner al Master on Big Data Engineering organizzato dal Politecnico di Torino e finanziato dalla Regione Piemonte (uno dei primi a livello nazionale), acquisendo risorse dedicate orientate alla formazione di nuovi profili tecnici nel settore ( data scientist ). La disponibilità di nuove tecnologie di gestione dei dati e la capacità di utilizzarle permetteranno l estrazione di informazioni da dataset esistenti non ancora pienamente sfruttati. Page 24

25 Gaia DPCT Progetto del Master Il primo esperimento di un progetto interamente sviluppato con le tecnologie dei Big Data (NoSQL database, in memory time series processing ecc.) sarà la tesi del master in cui si proverà a mettere in relazione i dati di Gaia con i dati solari. L obiettivo è trovare la caratterizzazione dei CCDs del piano focale del satellite soggeti a forti danni da radiazioni in un ambiente non protetto dal campo magnetico terrestre, nel punto lagrangiano L2 dove Gaia opera. L utilizzo dei dati solari nel progetto del master non è casuale in quanto ALTEC ha l interesse di applicare l esperienza acquisita nella realizzazione dei centri di elaborazione dati anche nell ambito dello Space Weather. Page 25

26 Da Gaia DPCT a un Multi-Purpose DPC Scalabilità infrastrutturale Peculiarità dell architettura del DPCT è la sua totale scalabilità e la possibilità di costruirla progressivamente in step successivi in base alle reali necessità. Dal punto di vista HW è stata fatta una scelta di tipo «open», cioè non esistono componenti che siano fortemente customizzati da parte di un vendor specifico (ciò al di là della scelta del fornitore unico HP che è basato su opportunità tecnico/economiche dei prodotti offerti); gli elementi funzionali di tale architettura sono completamente «vendor independent». Elementi funzionali dell architettura e soluzioni tecnologiche implementate possono essere estese e replicate anche in altri programmi. Dal punto di vista infrastrutturale e di capacità di hosting, il centro ALTEC è in grado di offrire una opportunità per ulteriori Programmi di Data Processing, mettendo in sinergia alcune soluzioni ed investimenti del Gaia DPCT (sala operativa, sistemi di comunicazione, CED, servizi di supporto per le operazioni remote, gestione operativa con livelli di monitoraggio e manutenzione da parte dei vendors molto stretti, i.e. 6 hrs call to repair 24x7). Page 26

27 ... e oltre ALTEC ha la responsabilità del progetto e realizzazione del ROCC della missione Exomars, compreso il SOC, Scientific Operation Centre. Nel programma si intende mettere a frutto i risultati della ricerca operata in STEPS1 e 2 (programma cofinanziato dalla Regione Piemonte) e le positive esperienze maturate in IXV, GAIA e SMAT (anch esso cofinanziato dalla Regione Piemonte). I progetti ISS, IXV, Gaia DPCT e SMAT sono delle realtà che forniscono ad ALTEC un ruolo significativo nella progettazione, realizzazione e gestione operativa di Centri di Controllo e Gestione Dati, non solo per le competenze acquisite ma anche per il riutilizzo delle infrastrutture esistenti. Page 27

28