Il ruolo di ALTEC in Gaia

Transcript

1 Il ruolo di ALTEC in Gaia Michele MARTINO Navigare tra le Stelle: il satellite Gaia, una nuova rivoluzione astrofisica? Torino, Palazzo Lascaris, 14.Nov.2014

2 Cos è ALTEC E il centro di eccellenza italiano per la fornitura di servizi ingegneristici e logistici a supporto delle operazioni e dell utilizzazione della Stazione Spaziale Internazionale e dello sviluppo e della realizzazione delle missioni di esplorazione planetaria. E una società pubblico-privata partecipata da Thales Alenia Space (51%), dall Agenzia Spaziale Italiana (29%) e dal consorzio pubblico ICARUS (20%) costituito dagli enti locali (Regione Piemonte, Provincia di Torino, Comune di Torino, Camera di Commercio) e da Finmeccanica. Ha sede a Torino in corso Marche ed ha proprio personale distaccato presso il NASA Johnson Space Center a Houston, presso l European Astronauts Center a Colonia e al Columbus Control Centre a Monaco. 14.Nov.2014 Page 2

3 Le attività principali Il supporto operativo, ingegneristico e logistico alla ISS (sia per i moduli MPLM/PMM che rappresentano il contributo diretto italiano, sia per il modulo Columbus che rappresenta il contributo europeo), l addestramento degli astronauti, ed il supporto agli esperimenti in orbita in particolare di biomedicina La gestione operativa dei componenti italiani del ground segment della ISS (ALTEC Mission Support Center e ALTEC Engineering Support Center) Lo sviluppo e la gestione del segmento di terra dei programmi ESA IXV ed ExoMars (ROCC), lo sviluppo e gestione di centri processamento dati scientifici (Gaia DPCT) Il contributo alla realizzazione e gestione di test facility per P/L ottici in collaborazione con OATO (OPSYS) La partecipazione ai programmi di ricerca del Distretto Aerospaziale Piemontese (SMAT, STEPS) ed Europei (FP7: Cross Drive, UIW) la promozione della cultura spaziale. SUPPORTO ISS P,, PMM LOGISTICS CENTER FLIGHT CONTROL CREW TRAINING HUMAN SPACE FLIGHT & BIOMED 14.Nov.2014 Page 3

4 Le attività principali CENTRO CONTROLLO E GESTIONE DATI ALTEC MSC ALTEC ESC CENTRO CONTROLLO E GESTIONE DATI ESPLORAZIONE PLANETARIA IXV MCC GAIA DPCT EXOMARS ROCC PROGRAMMI DI RICERCA SMAT F2 STEPS 2 FP7 FP7 TEST FACILITIES PROMOZIONE CULTURA SPAZIALE OPSYS 14.Nov.2014 Page 4

5 La collaborazione tra ALTEC ed INAF-OATO I proficui rapporti ed i lunghi anni di collaborazione tra industria spaziale torinese e i team scientifici di INAF-OATO, L esperienza maturata da ALTEC nella progettazione, implementazione e gestione (secondo gli standard spaziali ESA/NASA) di infrastrutture operative di terra La disponibilità sul territorio di infrastrutture operative all avanguardia per il supporto alle missioni spaziali sono stati gli ingredienti essenziali che hanno permesso nel 2005, l avvio dell iniziativa congiunta per lo sviluppo del Data Processing Center Torino (DPCT) della missione Gaia, uno dei sei centri europei dedicato al processamento scientifico dei dati del satellite. Lo sviluppo del DPCT è ufficialmente iniziato a luglio del Nov.2014 Page 5

6 Perchè il DPCT Il DPCT rappresenta un contributo importante dell Italia alla missione Gaia Due sono i requisiti/obiettivi primari del suo sviluppo Requisiti specifici di missione Realizzare l Astrometric Verification Unit (AVU) della missione, attraverso l esecuzione giornaliera delle pipeline dei sistemi scientifici AIM e BAM, e l esecuzione ciclica (DRC) del sistema GSR; Ospitare ed integrare l Initial Gaia Source List (IGSL) DB, Supportare l esecuzione dell esperimento GAREQ. Obiettivi di medio-lungo termine Fornire l infrastruttura, il SW, i processi, le reprocessing capabilities, i dati e le competenze a supporto della comunità scientifica Italiana per il massimo utilizzo di tutti i risultati della missione, Questo aspetto va ben oltre l accesso e lo sfruttamento scientifico del catalogo (prodotto dal consorzio DPAC), permettendo l accesso e l estrazione di dati dal Mission Data Base di cui il DPCT manterrà copia. 14.Nov.2014 Page 6

7 Il contesto operativo della missione N. 1 ESA DSN Ground Station allocata per 8 ore al giorno (Cebreros, New Norcia, Malargue) 30-40GB dati trasmessi a terra al giorno a 5 Mbps ESA-ESOC Darmstadt Germany DPCT ALTEC INAF-OATO Distribuzione dati tra i centri in modalità «hub & spoke» via Internet DPCG Osservatorio di Ginevra N. 6 Centri di Data Processing distribuiti sul territorio Europeo DPCI Osservatorio di Cambridge DPCC CNES Tolosa DPCE ESAC Madrid Science Operations Centre GAIA MDB MAIN DB Centralizzato di tutti i dati ricevuti e prodotti DPCB Università di Barcellona 14.Nov.2014 Page 7

8 Le sfide del progetto SW scientifici sviluppati da OATo molto diversi tra di loro in termini di: Volume di dati trattati Quantità di processing richiesto Complessità e maturità degli algoritmi, che si traduce in differenti schedule implementative, anche con il rischio di revisioni sostanziali del SW in corso d opera Modalità operative Quantità di dati da trattare enorme, dell ordine delle centinaia di Terabytes, sia strutturati in DB che su file system Vincoli sui tempi di processing dei singoli moduli SW, con richieste di performance elevate sia in termini di I/O che di esecuzione Missione operativa con tempi lunghi (5 anni di missione + 3 ulteriori di data reduction) Schedule di sviluppo molto compressa Budget limitato, soprattutto per la piattaforma HW e SW di sistema Incertezze sulla data di lancio e sulla dimensione finale del MDB 14.Nov.2014 Page 8

9 Scelte Progettuali Disaccoppiamento e standardizzazione delle interfacce tra il SW scientifico e il SW di infrastruttura: Rendere trasparente al team scientifico la complessità dell infrastruttura Concentrarsi sugli aspetti scientifici e di trattamento del dato e non sulle problematiche tecniche (HW, network, security, DB, file system, backup, etc) Supportare lo sviluppo in parallelo dei prodotti SW, ciascuno con schedule ed obbiettivi differenti Semplificare l integrazione incrementale nelle varie fasi del progetto Utilizzo del DBMS Oracle per la gestione dell archivio dei dati: Disponibilità, scalabilità ed affidabilità del sistema Gestione di grandi moli di dati in ambito scientifico (es. LHC al CERN) Funzionalità di cluster DB, partitioning e gestione diretta dello storage Know-how esistente sia in ALTEC che in INAF-OATo Ottima collaborazione e forte disponibilità in termini di supporto diretto al progetto da parte della società Oracle, anche sul lungo periodo 14.Nov.2014 Page 9

10 Scelte Progettuali Chiara divisione di compiti tra team industriale e scientifico, con costante coordinamento tecnico-programmatico tra il PI ed il System Engineer del DPCT, e condivisione delle scelte tecniche e metodologiche ALTEC è stato responsabile della: definizione e progettazione del DPCT e delle sue interfacce (interne ed esterne) definizione, acquisizione ed integrazione della piattaforma HW definizione ed implementazione del DB sviluppo, integrazione e test del SW di infrastruttura del DPCT integrazione e test dei diversi SW scientifici a livello di DPCT integrazione e test del DPCT a livello di DPAC attività di coordinamento tecnico a livello DPAC del DPCT, di configuration management e product/quality assurance attività di gestione operativa dell intero centro, in collaborazione con il team scientifico dell OATO 14.Nov.2014 Page 10

11 L Architettura del DPCT 14.Nov.2014 Page 11

12 Il SW Infrastrutturale del DPCT RMS: Run Manager Subsystem, fornisce la logica di controllo per il coordinamento e la gestione dell esecuzione del SW di infrastruttura, interagisce con gli altri componenti per reagire rapidamante agli eventi DTS: Data Transfer System, è il componente che gestisce completamente in automatico la ricezione e trasmissione, nonchè la notifica ai processi SW, di tutti i dati in input e output PFS: Processing Framework Subsystem, rappresenta il componente SW che permette l esecuzione del codice scientifico sui nodi del cluster di processing. Senza tale modulo il SW OATo non può essere eseguito. DSS: Data Storage Subsystem, fornisce le funzionalità per l accesso ed utilizzo in modo efficiente dello storage del centro (sia come DB che file system) DAAS: Data Access and Analysis Subsystem fornisce al team di scienziati le funzionalità necessarie all analisi ed utilizzo dei dati SMAS: System Monitoring and Administration Subsystem, effettua il monitoraggio e l amministrazione dell intero sistema HW e SW 14.Nov.2014 Page 12

13 Daily Pipeline DPCE gbin gbin BAM AIM MDB gbin gbin Ingestion Ingestion 50GB each day Raw Data Processing Raw Data Processing Infra Management Ingestion Backup Monitoring/ Analysis Extraction RDP Monitoring Retraction Daily Report Daily Calibration DPCT DPCT Repository Data Management Processing DB Fine Selection Daily Report Time Nov.2014 Page 13

14 DRC Pipeline DPCE gbin gbin GSR MDB gbin gbin Ingestion System Coefficient Generation First MDB 20 TB... Last MDB 100 TB Ingestion Solution Ingestion Solver fits Infra Management Backup Solution Analysis Solution Rotation Extraction GSR-AGIS Comparison DPCT 1 cycle minimum 6 months DPCT Repository Data Management Processing DB CINECA End Ciclo n End Ciclo n Nov.2014 Page 14

15 Architettura HW OPS STORAGE UNITS Tape Library T&D Storage Unit High Capacity Disks High Capacity Disks High Capacity Disks High Capacity Disks High Capacity Disks High Capacity Disks High Capacity Disks High Performance Disks High Performance Disks High Performance Disks High Performance Disks TD TD Ctrl-1 Ctrl-2 Ctrl-1 Ctrl-2 Ctrl-1 Ctrl-2 Ctrl-1 Ctrl-2 STORAGE TD TD OPS SAN SWITCH Oracle DB Server Cluster SRV Management & Monitroing Servers SRV Test and Development Servers SRV Processing Servers Cluster SRV PROCESSING SRV SRV SRV Shared Memory Processing Server DPCT LANs LAYER 3 CENTRAL AGGREGATION SWITCH DPCT LAN Layer 2 NETWORK SWITCH DPCT OPS ROOM NETWORK SWITCH FW-1 FW-2 NETWORK DPCT Web Servers for WI-FI External Service Provision DPCT Room User Access Point DMZ SWITCH SRV USER Consoles WS I/F Switch / Router-1 I/F Switch / Router-2 Printer GARR Switch / Router 14.Nov.2014 Page 15

16 Architettura HW Sistema di storage (2 unità completamente ridondate) ad alta affidabilità e con capacità iniziale complessiva di 450 TB, con crescita incrementale fino a un PetaByte a fine missione Doppio livello di backup: disco e tape Cluster per il DB e processamento di dati costituito da 4+12 servers per un numero complessivo di 512 core e 4TB di RAM. Ulteriore espansione pianificata pari a 180 core e 1.5 TB RAM Connessioni alla storage area network in fibra ottica (8 Gbps) Rete locale ad alta velocità (10 Gbps in fibra ottica) Collegamento Internet a 1 Gbps (300 Mbps garantiti) attraverso la rete GARR per il trasferimento dati con DPCE Piattaforma di sviluppo, test e validazione indipendente dalla piattaforma operativa Monitoraggio continuo del sistema 24x7, con intervento e riparazione di guasti entro 6 ore 14.Nov.2014 Page 16

17 Architettura HW Per l esecuzione di una parte della pipeline del modulo di Global Sphere Reconstruction (GSR), il DPCT utilizzerà, gestendo la pipeline da remoto, il supercomputer FERMI IBM BlueGene/Q del Cineca di Bologna, tra i più potenti supercomputer al mondo. 14.Nov.2014 Page 17

18 Architettura HW In ALTEC è disponibile la DPCT Operations Room dove il team operativo ha a disposizione tutti gli strumenti per il supporto alla missione e l analisi dei dati. 14.Nov.2014 Page 18

19 Operazioni di Missione 19.Dic.2013: lancio ed inizio operazioni di missione del DPCT 3.Gen.2014: progressiva accensione dello strumento, inizio del processing dei dati di missione del BAM per il supporto alle attività di commissioning del satellite e di calibrazione della strumentazione 31.Gen.2014 inizio del processing dei dati di AIM 18.Lug.2014: fine del commissioning del satellite ed inizio della missione scientifica (Early Operations) Alcuni numeri ad oggi: GB di files ricevuti ogni giorno al DPCT Astro Observation ricevute workflow eseguiti, job processati 300 AVU/BAM e 290 AVU/AIM processing completati 31.5 TB di dati immagazzinati nell archivio del DPCT In parallelo alle attività operative, proseguono quelle di sviluppo e finalizzazione del sistema GSR che entrerà in funzione a metà del 2015, e la sua integrazione sia a livello di DPCT che di DPAC. 14.Nov.2014 Page 19

20 Team Operativo del DPCT Tutte le operazioni di missione sono condotte da un team integrato di ALTEC ed OATo. ALTEC ha la responsabilità dell operatività di tutta l infrastruttura del centro e dell interfaccia verso il DPAC (DPCT Manager), affiancato in questa attività dal DPCT Science Manager e dal DPCT Scientific Operation Manager di OATo responsabili di tutta l attività operativa scientifica del centro 14.Nov.2014 Page 20

21 ...oltre la missione Gaia Al termine della missione Gaia il DPCT ospiterà l intero database della missione, i prodotti intermedi rilasciati al termine di ogni ciclo e i dati grezzi. Questi dati dovranno essere resi disponibili per molti anni alla comunità scientifica per l esecuzione di nuove calibrazioni e a supporto di nuovi esperimenti e studi scientifici. Per maneggiare l enorme quantità di dati raccolti si dovranno utilizzare strumenti e metodologie nuove, ma differenti da quelli utilizzati per soddisfare i requisiti di missione, e poter così sfruttare al meglio le informazioni collezionate. Per questa ragione, e tenendo conto della vasta attività di ricerca e sviluppo sulla problematica nota con il termine di Big Data, ALTEC ha aderito come partner al Master on Big Data Engineering organizzato dal Politecnico di Torino e finanziato dalla Regione Piemonte (uno dei primi a livello nazionale), acquisendo risorse dedicate orientate alla formazione di nuovi profili tecnici nel settore ( data scientist ). Il primo esperimento di un progetto interamente sviluppato con le tecnologie dei Big Data è la tesi del master in cui si proverà a mettere in relazione i dati di Gaia con altri dati scientifici esistenti. Al progetto parteciperanno ALTEC, OATo e il Politecnico di Torino. L archivio completo di Gaia apre inoltre la possibilità ad un loro utilizzo tecnologico, a supporto delle fasi di definizione di future missioni spaziali, per gli aspetti di navigazione spaziale e studio del degrado dei componenti elettronici causato dall esposizione alle radiazioni per lunghi periodi. 14.Nov.2014 Page 21

22 Conclusioni Il DPCT, ad oggi, sta raggiungendo progressivamente tutti gli obiettivi previsti, sia di progetto che di missione. Questo è un risultato importante ed è il frutto di un intenso lavoro di team: dell ASI, che ha coordinato tutti gli aspetti programmatici e contrattuali, permettendo il rispetto delle milestone del programma ed evitando che questi potessero impattare la già compressa schedule di attività; del team scientifico di OATo e del team industriale di ALTEC che hanno saputo integrarsi, mettendo a fattor comune la cultura e l approccio scientifico con la cultura e l approccio industriale, perseguendo insieme lo stesso obiettivo. 14.Nov.2014 Page 22

23 Conclusioni Il progetto ha permesso ad ALTEC di farsi conoscere ulteriormente a livello nazionale ed internazionale, soprattutto alla comunità scientifica di Astrofisica Ha offerto l opportunità per incrementare il proprio know-how e le proprie capacità sia nell ambito della gestione e processamento di grandi moli di dati, sia nell ambito dell High Performance Computing, settori ritenuti importanti per il futuro della società e particolarmente innovativi dal punto di vista tecnologico Ha permesso inoltre di realizzare infrastrutture operative complesse che possono offrire numerose opportunità per: Lo sviluppo di sistemi avanzati e tecnologie di supporto alla ricerca scientifica, Lo sviluppo di iniziative legate alla conservazione dei dati per l utilizzo scientifico a lungo termine (con capacità di riprocessamanto) La fornitura di servizi ed infrastrutture per la comunità scientifica. Con il progetto Gaia, ALTEC ha voluto investire soprattutto sui giovani. Il team che ha realizzato e sta operando il DPCT è costituito prevalentemente da giovani laureati del Politecnico e dell Università di Torino. 14.Nov.2014 Page 23

24 14.Nov.2014 Page 24