Catene modellistiche diagnostiche e catene prognostiche

Transcript

1 Catene modellistiche diagnostiche e catene prognostiche Catene modellistiche diagnostiche e catene prognostiche Il ruolo della modellistica numerica nella vutazione e nella previsione dell'inquinamento atmosferico a sca regione e sub-regione Pmanova, 27 febbraio 2013 ARPA FVG CRMA Centro Regione di Modellistica Ambiente crma@arpa.fvg.it

2 Sommario della lezione Requisiti indispensabili per fare modellistica numerica seriamente I principi workflow della modellistica della quità dell'aria Aspetti critici della modellistica operativa Esempi di catene operative meteorologiche e di quità dell'aria Risorse necessarie ad un centro modellistico per la quità dell'aria 2

3 Requisiti indispensabili: il sistema operativo e il linguaggio La modellistica numerica per l'ambiente richiede: L'instlazione di codici in ambiente High Performance Computing (HPC) L'ottimizzazione delle performance dei codici instlati La verifica e la vidazione dei codici instlati L'esecuzione di operazioni ripetitive ed automatiche L'elaborazione di grossi volumi di dati per la sintesi delle informazioni Sistemi Sistemi operativi operativi Linux Linux UNIX UNIX Sistemi Sistemi operativi operativi Windows Windows Sistemi operativi Mac OS Shell: SH, BASH,,KSH, CSH Python, Perl, JavaScript Basso Alto Livello linguaggio 3

4 Requisiti indispensabili: da dove iniziare Prima di tutto Shell! Fase emozionante Fase di affinamento e riflessione Fase critica Tempi tipici di apprendimento 4

5 Requisiti indispensabili: programmazione e compilazione Linguaggio di programmazione per la scrittura e la modifica di codici per il ccolo scientifico FORTRAN 90 (preferito) C (opzione) Compilatore per la reizzazione degli eseguibili Compilatori liberi (costo ~ 0 EUR) GCC (GNU Compiler Collection) Compilatori a pagamento (costo ~ k EUR) PGI Optimizing Fortran, C and C++ Compilers & Tools Intel Compilers compiler, C++ compiler, and Fortran Cray Fortran Compiler (Portland Group) (Intel Group) (CRAY company) 5

6 Tempi di apprendimento: programmazione e compilazione Abilità nella programmazione per la scrittura e la modifica di codici dedicati ccolo scientifico: da Austropiteco a Homo habilis (1 mese di apprendimento intensivo) da Homo habilis a Homo erectus (6 mesi di applicazione su un problema specifico) da Homo erectus a Homo sapiens (cuni anni di applicazione e rivisitazione) Ccolo di base Foglio di ccolo Ccolo scientifico High Performance Computing Abilità nell'uso del compilatore per la reizzazione degli eseguibili, uso degli accessori per il debug e la profilazione dei codici: da Austropiteco a Homo habilis (1 ora di apprendimento) da Homo habilis a Homo erectus (1 settimana di applicazione su un problema) da Homo erectus a Homo sapiens (cuni anni di applicazione e rivisitazione) 6

7 Catene modellistiche: i principi workflow Le simulazioni di tipo Off-line Meteorologic data Sources measurements Source model Meteorologic model Dispersion Model Post processing Results publication Environment monitoring: daily run over past 24 hours Source model Meteorologic Database (one or more years) Dispersion Model Post processing Impact evuation Impact evuation: one (or more) yearly run over past weather (climate) 7

8 Catene modellistiche diagnostiche: esempio di workflow per stato QA Workflow usato CRMA nell'ambito del progetto ADE run di riferimento QA Atmos Model dataset Meteorologic data Emission Inventory Meteorologic preprocessor Sources preprocessor AQ boundary conditions AQ measurements Meteorologic Database (one year) Dispersion Model Kriging Post processing Results publication 8

9 Catene modellistiche diagnostiche: esempio di workflow per scenari Workflow usato CRMA nell'ambito del progetto ADE scenari Atmos Model dataset Meteorologic data Emission Inventory AQ boundary conditions Meteorologic preprocessor Scenario filter Sources preprocessor Scenario filter Mitigation action Meteorologic Database (one year) Dispersion Model Post processing Results publication 9

10 Aspetti critici delle previsioni numeriche operative Si debbono risolvere equazioni differenzii le derivate parzii, quindi sono necessarie le seguenti informazioni: inizii Sorgenti 10

11 Catene modellistiche operative: il caso meteorologico Esempio del modello meteorologico WRF senza assimilazione dei dati loci WPS inizii inizii (dinamiche) (dinamiche) Anisi globi Anisi globi Previsioni globi Previsioni globi (statiche (statiche o o quasi) quasi) Orografia Orografia Tipo di suolo Tipo di suolo Uso del suolo Uso del suolo (metgrib) (metgrib) (geogrid) (geogrid) WRF model (re) (re) modello modello (WRF) (WRF) Post Post Elabor. Elabor. & & pubblic. pubblic. 11

12 Catene modellistiche operative: acquisizione delle IC e BC Esempio del modello meteorologico WRF acquisizione delle condizioni inizii e Per Per scopi scopi prognostici: prognostici: ECMWF ECMWF Accesso Accesso tramite tramite provider provider nazione nazione (AM) (AM) inizii inizii (dinamiche) (dinamiche) Anisi globi Anisi globi Previsioni globi Previsioni globi - Costo di rilascio - Costo di rilascio - A disposizione dei centri funzioni della protezione civile - A disposizione dei centri funzioni della protezione civile NOAA NOAA NCEP NCEP (GFS) (GFS) Model Model Accesso Accesso libero libero tramite tramite FTP FTP Frequenza Frequenza di di acquisizione: acquisizione: quotidiana quotidiana e e sub sub quotidiana quotidiana Per Per scopi scopi diagnostici: diagnostici: ECMWF ECMWF Accesso Accesso con con autorizz. autorizz. del del provider provider nazione nazione (AM) (AM) - Nessun costo, solo autorizzazione l'accesso ECMWF - Nessun costo, solo autorizzazione l'accesso ECMWF Frequenza Frequenza di di acquisizione: acquisizione: a a piacere piacere (statiche (statiche o o quasi) quasi) Orografia Orografia Tipo di suolo Tipo di suolo Uso del suolo Uso del suolo Database Database globi: globi: NOAA, NOAA, USGS USGS (WRF (WRF web web site) site) Database Database continenti: continenti: EEA EEA - - CORINE CORINE LAND LAND COVER COVER Database Database loci: loci: Regione Regione Frequenza Frequenza di di acquisizione: acquisizione: una una tantum tantum 12

13 Catene modellistiche operative: acquisizione delle IC e BC (cont.) Altre possibili fonti di condizioni inizii e non globi Per Per scopi scopi prognostici prognostici e e diagnostici: diagnostici: ALADIN ALADIN su convenzione o accordo su convenzione o accordo Inizii Inizii (dinamiche) (dinamiche) Anisi globi Anisi globi Previsioni globi Previsioni globi COSMO COSMO ecc. ecc. su partecipazione consorzio su partecipazione consorzio Frequenza Frequenza di di acquisizione: acquisizione: quotidiana quotidiana e e sub sub quotidiana quotidiana - - prognostici prognostici secondo secondo necessità necessità - - diagnostici diagnostici 13

14 Catene modellistiche operative: il caso dispersione degli inquinanti Esempio del modello dispersivo off line FARM senza assimilazione dei dati loci Determinanti Determinanti meteorologici meteorologici (dinamici) (dinamici) Stato Stato (concentrazioni) (concentrazioni) Inizii Inizii (dinamiche) (dinamiche) Anisi Anisi Previsioni Previsioni Determinanti Determinanti (statiche (statiche o o quasi) quasi) Orografia e ostacoli Orografia e ostacoli Tipo di suolo Tipo di suolo Uso del suolo Uso del suolo Pressioni Pressioni Sorgenti Sorgenti emissive emissive Catasti (INEMAR) Catasti (INEMAR) SME SME (dinamiche (dinamiche o o statiche) statiche) meteorologico meteorologico sorgenti sorgenti Modello Modello dispersivo dispersivo (FARM) (FARM) Aria Region Suite Post Post Elabor. Elabor. & & pubblic. pubblic. 14

15 Catene modellistiche prognostiche: criticità Esempio: catena operativa per la previsione della quità dell'aria in regione FVG Operation air quity forecasts for Friuli Venezia Giulia +120H Post processing & publication (32 cores for WRF) (2 cores for FARM) Air quity boundary conditions h are available Meteorologic boundary conditions are available FARM h Air quity boundary conditions h are available FARM h download UTC start - WRF - end Criticità: Reti veloci HPC workflow managers Scaricare solo il necessario: usare curl e i suggerimenti proposti d NCEP ftp://ftp.cpc.ncep.noaa.gov/wd51we/fast_downloading_grib/ Verificare che lo scaricamento sia andato a buon fine oppure ritentare Monitorare il workflow - Utilizzare software che gestisca il workflow ECFlow Kepler 15

16 Catene modellistiche diagnostiche: criticità Criticità: HTC spazio disco - workflow managers (HTC High Throughput Computing Air quity scenarios Friuli Venezia Giulia (computation only) 1/3 hour-core for one simulation day 365 days of simulation 2 hour-core for one scenario post-proccesing 15 scenarios About 1800 hours-core Air quity scenarios Friuli Venezia Giulia (storage only) 20 GB for one scenario 15 scenarios About 300 GB Suggerimenti: progettare archiviazione e rimozione automatica degli output (efficienza) definire una nomenclatura univoca delle simulazioni (ordine) usare links simbolici ogni volta ciò è possibile (economia) 16

17 Catene modellistiche: sintesi I Ci sono due classi di simulazioni che si distinguono per le seguenti caratteristiche: V = velocità di esecuzione F = probabilità di flimento D = spazio archiviazione C = connessioni esterne e interne Run modellistici operativi quotidiani o subquotidiani (V massimo, F minimo, D accettabile, C massima) Previsioni meteorologiche Previsioni quità dell'aria Diagnosi meteo e aria Aggiornamenti anisi dati Run modellistici non operativi (V accettabile, F accettabile, D massimo, C accettabile) Diagnosi di eventi passati Prognosi ipotetiche Anisi dati HPC High Performance Computing MTC Many-Task Computing HTC High Throughput Computing HPC HTC MTC 17

18 Catene modellistiche: cuni esempi di risorse necessarie Alcuni esempi dei sistemi modellistici e le risorse richieste per le seguenti caratteristiche: V = velocità di esecuzione F = probabilità di flimento D = spazio archiviazione C = connessioni esterne e interne HPC High Performance Computing 90 ore cpu/run giorniero (180 ore cpu/run giorniero) Flimenti: 1-2 anno Connessioni 1GB/ora Spazio archivio 100MB/giorno MTC Many-Task Computing 150 ore cpu/run giorniero (250 ore cpu/run giorniero) Flimenti: 1-2 anno Connessioni 1GB/ora Spazio archivio 1GB/giorno HTC High Throughput Computing 5000 ore cpu/run annue (40000 ore cpu/run annue) Flimenti: anno Connessioni 5TB/anno Spazio archivio 1TB/anno Previsioni meteorologiche Previsioni quità aria online Previsioni quità aria offline Diagnosi operativa Anisi dati operativa Diagnosi eventi passati Prognosi ipotetiche Anisi dati 18

19 Catene modellistiche: se possibile svilupparle in una e-infrastructure Gli approcci e le strategie modellistiche possono diventare estremamente più efficienti se inserite in un ambiente ricco non solo di risorse computazioni, ma anche di competenze complementari a supplementari a quelle del gruppo di modellisti Gestione efficiente dei flussi dati in ingresso ed in uscita Controllo dei flussi di ccolo MTC e HTC e gestione dei flimenti Disponibilità dei sistemi modellistici a utenti non modellisti Adeguati sistemi di accesso ed esplorazione dei dati per i diversi utenti Risorse di ccolo e di archiviazione dati Gestione archivi dati molto voluminosi e-infrastructure 19