Gestione delle catene operative previsionali nel settore meteo - idrologico al Cineca

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "Gestione delle catene operative previsionali nel settore meteo - idrologico al Cineca"

Marcellina Manzoni
6 anni fa
Visualizzazioni

1 Gestione delle catene operative previsionali nel settore meteo - idrologico al Cineca Gian Franco Marras - g.marras@cineca.it CINECA - Dipartimento di SuperCalcolo Applicazioni e Innovazione

2 Introduzione 1 Cineca Il consorzio Dipartimento SCAI Calcolatori Collaborazioni 2 Catene Operative Competenze Gestione Catene Operative Caratteristiche principali Gestione automatica degli incidenti Sviluppo e messa in produzione

3 Il consorzio: Costituito nel 1969 come Consorzio Interuniversitario senza scopo di lucro; 70 università italiane, MIUR, CNR, OGS, Indire, Invalsi, SZN.

4 Attività principali: Supercalcolo e applicazioni; Sistemi gestionali per le amministrazioni universitarie e il MIUR; Sistemi informativi pubblica amministrazione, sanità e imprese.

5 Dip. SuperCalcolo Applicazioni e Innovazione: Fornire risorse di calcolo ad alte prestazioni; BigData; Sviluppo e promozione di servizi tecnici scientifici; CUDA Research center; Intel Parallel Computing Center; PRACE PATCs.

Calcolatori: FERMI: 10.240 nodi, 16 core, BlueGene/Q,IBM PowerA2, 1.6GHz, 2.1 PFlops; Galileo: 1.

6 Calcolatori: FERMI: nodi, 16 core, BlueGene/Q,IBM PowerA2, 1.6GHz, 2.1 PFlops; Galileo: nodi, 18 core, Intel Haswell, 2.40GHz, 1.1 PFlops; Pico: 51 nodi, 20 core, Intel Xeon E5-2670v2, 2.50GHz.

7 Nuovo SuperCalcolatore: Marconi A1: nodi, 18 core, Intel Broadwell, 2.3GHz, 2 PFLOPs; Marconi A2: nodi, 68 core, Intel Knights Landing, 1.4GHz, 11 PFLOPs; Marconi A3: 1512 nodi, 20 core, Intel SkyLake, 2.3GHz, 4.5 PFLOPs.

8 Collaborazioni: Arpa-E (Arpae-SIMC); Arpa Piemonte; OGS (Istituto Nazionale di Oceanografia e di Geofisica Sperimentale); JRC (Joint Research Centre); ISPRA, CNR, INGV, CMCC,...

9 Catene Operative Arpae-SIMC: Modellistica Meteorologica Numerica finalizzata alla previsione meteorologica e meteomarina (settembre 1993); OGS: Progetto Copernicus: marine environment monitoring service.

10 Competenze: Gestione e amministrazione di sistemi computazionali complessi come quelli del supercalcolo; Gestione di codici in ambiente supercalcolo: parallelizzazione, ottimizzazione e debugging; Conoscenza dei modelli previsionali dal punto di vista informatico per quanto riguarda la loro configurazione e il loro corretto funzionamento; Gestione di servizi ad elevata criticità in ambienti di supercalcolo.

11 Gestione Catene Operative al Cineca: Robusta ed efficiente infrastruttura tecnologica; Alto livello di affidabilità del servizio; Robusta catena operativa per la gestione di tutte le fasi; Flusso di comandi completamente automatizzato; Intervento dell uomo minimale e solo in casi di alta criticità.

12 Aspetti connessi al servizio: Download dei dati di input; Esecuzione delle varie fasi dei modelli; Upload dei risultati sul server del committente; Disseminazione dei dati con varie modalità; Archiviazione dei dati di input/output; Monitoraggio di tutte le fasi; Reportistica.

13 Caratteristiche principali: Pianificazione periodica su crontab; Portabilità su sistemi differenti: AIX, Linux,... Sottomissione dei job: LSF, LL, PBS; Gestione automatica delle reservation; Utilizzo di filesystem dedicati; Modalità di mirrorring.

14 Gestione automatica degli incidenti: Individua, riserva e verifica le risorse disponibili; Retrieve dei dati dal sistema di backup; Partenza in modalità degradata; Pianificazione registrata su più nodi con gestione del conflitto;...

15 La catena operativa è un entità unica costituita da: Sorgenti dei programmi utilizzati (modelli meteorologici, interpolatore dei dati, strumenti accessori); Strumenti per compilare ed installare i sorgenti; Script per la gestione del workflow; File di configurazione del servizio; File di input statici e dinamici. Gestione delle differenze attraverso librerie di astrazione.

16 Sviluppo e messa in produzione Aggiornamenti costanti; Modifiche adeguatamente testate; Rilascio in produzione schedulato secondo regole precise; Istanze allineate su più calcolatori; Conoscenza delle condizioni sotto le quali è stata eseguita una corsa operativa.

17 Sistema di versioning: Processi di sviluppo; Compilati ed eseguibili; Attivazione del backup o sostituzione del filesystem estremamente rapido;

18 Conclusioni: Personale Operativo Qualificato in più fronti; Sistemi di calcolo ridondati in ogni componente; Gestione del workflow completamente automatizzato. Prospettive future: Sistemi di calcolo isolati ; Maggior partecipazione nell intero processo di prevenzione; Servizio Meteo Nazionale Distribuito.

Documenti analoghi

Le attività dell'ispra nella gestione dell'emergenza Costa Concordia

Le attività dell'ispra nella gestione dell'emergenza Costa Concordia S. Agnesi, L. Alcaro, M. Angiolillo, E. Azzurro, T. Bacci, D. Berto, A. Bruschi, I. Buttino, S.P. Canese, B. Catalano, A.M. Cicero,