AERONAUTICA MILITARE Centro Nazionale di Meteorologia e Climatologia Aeronautica

Transcript

1 AERONAUTICA MILITARE Centro Nazionale di Meteorologia e Climatologia Aeronautica 2 Servizio 3^ Sezione Report Trimestrale 2010 Verifiche dei modelli operativi presso il CNMCA SETTEMBRE OTTOBRE NOVEMBRE Ten. G.A.r.n. Angela Celozzi Mar.llo 1^ Cl. Giovanni Favicchio 1

2 INDICE 1 Introduzione Informazioni Generali Sistema di verifica Risultati Parametri Superficiali ECMWF corsa 00 UTC COSMO-ME corsa 00 UTC COSMO- I7 corsa 00 UTC Risultati Parametri Quota COSMO-ME corsa 00 UTC Riferimenti bibliografici

3 1 Introduzione Il documento si prefigge i seguenti obiettivi: Descrivere i risultati ottenuti nell ambito dell attività di verifica e controllo svolta all interno del 2 Serv 3^ Sez ; mantenere traccia ordinata e organizzata dei risultati ottenuti; I risultati descritti rappresentano un estratto dall'archivio delle Verifiche eseguite e si riferiscono ai seguenti modelli: ECMWF COSMO-ME COSMO-I7 elaborato dal Centro Europeo Risoluzione 28 km elaborato dal CNMCA Risoluzione 7 km elaborato dal CINECA di Bologna Risoluzione 7 km Per il trimestre considerato i modelli analizzati nel presente documento sono i seguenti ECMWF corsa 00 COSMO - ME corsa 00 COSMO-I7 SUPERFICIE QUOTA SUPERFICIE SUPERFICIE I dati di osservazione utili considerati 3

4 2 Informazioni Generali Le grandezze oggetto del report sono, per la superficie, Temperatura 2m Intensità del vento 10m Precipitazioni cumulate 12h Per la quota Temperatura Intensità del vento Al fine di analizzare l errore delle grandezze della Temperatura 2m e dell intensità del vento, viene analizzato il Mean Error o (Bias) che rappresenta la differenza tra la media delle previsioni e la media delle osservazioni. n k=1 ME= ( f o ) k n k = f o Ovviamente il range del ME va da meno infinito a più infinito ed una previsione è perfetta quando il ME = 0. Per come è costruito il ME non è detto che se il risultato sia zero la previsione non contenga errori, e possibile altresì che ci siano errori che si compensano. Per ovviare a tale ambiguità e verificare l accuratezza della previsione viene studiato il Mean absolute error (MAE). Il MAE è la media aritmetica del valore assoluto della differenza tra le coppie di dati (fi, oj) previsione-osservazione MAE n k = = 1 f n k o k Per la precipitazione, studiata come grandezza dicotomica, la verifica viene svolta analizzando l evento dopo aver fissato delle soglie. Per verificare questo tipo di previsioni si utilizzano normalmente tabelle di contingenza che definiscono una relazione uno ad uno tra valori previsti e osservati attraverso quattro combinazioni, associazione tra due possibilità previsionistiche (si o no) e due osservabili (si o no). 4

5 Le quattro combinazioni chiamate joint distribution (distribuzioni congiunte) sono: Hit (a) = numero di volte in cui un evento previsto è osservato False alarm (b) = numero di volte in cui un evento previsto non viene successivamente osservato Miss (c) = numero di volte in cui un evento non previsto viene successivamente osservato Correct negative (d)= numero di volte in cui un evento non viene previsto e non successivamente osservato OSSERVAZIONI Hit (a) False alarm (b) previsti PREVISIONI Miss(c) Correct Rejection (d) Non previsti osservati Non osservati Figura 2 Rappresentazione della tabella di contingenza Per le precipitazioni, invece, il Bias (chiamato anche Frequency Bias Index ) è rappresentato dal seguente rapporto: FBI = (a+b)/(a+c) Questo indice fornisce il confronto tra il numero di volte in cui si prevede il verificarsi dell'evento ed il numero di volte in cui l evento si osserva effettivamente. Se FBI=1 ci troviamo di fronte al caso in cui tutte le volte che i fenomeni sono stati previsti, si sono verificati e rappresenta la previsione perfetta. Analogamente FBI>1 evidenzia un over-forecasting dell'evento, FBI<1 un under-forecasting Al fine di analizzare l accuratezza si studia l andamento dell ETS. Tale indice rappresenta il numero di eventi previsti correttamente tenendo conto anche degli hits dovuti a successi casuali. con ar = [(a+b)(a+c)]/(a+b+c+d) Lo score perfetto è ETS=1 ETS = (a - a r )/(a +b+c- a r ) 5

6 3 Sistema di verifica Le verifiche sono realizzate con Versus, il sistema prodotto dal CNMCA e lo strumento ufficiale dedicato alle verifiche del consorzio COSMO. Versus è uno strumento flessibile e configurabile che consente di analizzare il comportamento dei modelli matematici attraverso lo studio di indici statistici e serie temporali. Per il suolo, I dati di osservazione utilizzati sono i messaggi Synop delle stazioni italiane sia automatiche sia presidiate, per la quota i Temp 6

7 4 Risultati Parametri Superficiali 4.1 ECMWF corsa 00 UTC Copertura nuvolosa totale: In questo trimestre l errore medio oscilla tra i valori che variano dal -5% al 10%. Da tenere in considerazione la difficoltà nell osservazione notturna e la differenza nel numero di dati a disposizione. L errore assoluto aumenta con il tempo di integrazione con un range che va dal 20% circa al 40%. Velocità del vento: E evidente la sottostima della velocità del vento in quasi tutte le scadenze. L errore assoluto presenta un andamento lievemente crescente (da 1,7 a 2 m/s) aumentando con la scadenza. La radice dell errore quadratico medio si mantiene in un range che va da 2.5 a 3.0 m/s seguendo la ciclicità giornonotte. 7

8 Temperatura a 2m: L errore medio presenta oscillazioni al di sotto dello zero, si avvicina al valore nullo durante le ore diurne ed intorno al valore -1,5 durante le ore notturne. E evidente il ciclo diurno. L errore assoluto aumenta con le scadenze partendo da un valore di 1.8 fino a 2.8. Precipitazioni cumulate in 12 ore (errore medio): Evidente la tendenza alla sovrastima nelle soglie più basse: il modello cioè vede di frequente l evento pioggia. Le diverse scadenze assumono FBI=1 (cioè stima esatta) in maniera diversa tra le soglie 8 mm e 16mm, e tende a sottostimare per soglie maggiori. Precipitazioni cumulate in 12 ore (accuratezza): L accuratezza risulta maggiore per le soglie più basse tra 0,4 mm e 4-5 mm per le scadenze diurne da +12 a +84. Aumentando la scadenza si evidenzia un peggioramento per gli step da +132 in poi. 8

9 4.2 COSMO-ME corsa 00 UTC Copertura nuvolosa totale: L andamento generale dell errore medio presenta una sovrastima con massimi durante le ore notturne (circa il 15%). Anche in questo caso non si esclude che l errore sia dovuto alla difficoltà dell osservazione. E interessante osservare come l andamento dei tre indici statistici sia quasi identico. L'errore assoluto evidenzia il ciclo diurno e tende ad aumentare lievemente con l aumentare delle scadenze.. Velocità del vento: Permane il comportamento generale del modello nel sottostimare la velocità del vento. E poco evidente il ciclo diurno. Anche l'errore assoluto non risente del ciclo diurno ed i valori si concentrano nell'intervallo compreso tra 1,5 e 2 m/s al variare delle scadenze 9

10 Temperatura a 2m: L errore medio oscilla al di sotto dello zero,con una evidente sottostima durante la mattinata; è evidente il ciclo diurno. Il valore dell'errore assoluto risente meno del ciclo diurno ed assume valore tra 1,5 e 2 C Anche per il campo della temperatura si evidenzia un comportamento simile al trimestre precedente. Precipitazioni cumulate in 12 ore (errore medio): Per tutte le scadenze si evidenzia una buona stima del modello (FBI intorno al valore 1) fino alla soglia 12 mm, dopo la quale si evidenzia una complessiva sottostima dell evento, diverso il comportamento per FBI+36. Precipitazioni cumulate in 12 ore (accuratezza): La accuratezza si mantiene alta (massimo del valore raggiunto è 0,4) per tutte scadenze fino alla soglia di 8 mm per poi decrescere rapidamente. L indice risulta generalmente migliore per le scadenze diurni. 10

11 4.3 COSMO- I7 corsa 00 UTC Copertura nuvolosa totale: E evidente il ciclo diurno e la sovrastima del parametro soprattutto durante le ore notturne. L errore assoluto oscilla tra il 22% e il 32%. Velocità del vento: E evidente l andamento ciclico dell errore medio con range tra e L errore assoluto si mantiene praticamente costante al valore di 1,7 m/s ed indipendente dal periodo di previsione. 11

12 Temperatura a 2m: L errore medio presenta oscillazioni intorno allo zero, lievemente sovrastimato durante il periodo notturno e decisamente sottostimato durante il giorno. L errore assoluto si mantiene quasi costante tra i valori 1.5 e 2.0 C. Precipitazioni cumulate in 12 ore (errore medio): Per tutte le scadenze si evidenzia una buona stima del modello (FBI intorno al valore 1) fino alla soglia 16 mm. Si evidenzia il differente comportamento delle scadenze +12 e +36 rispetto alle +24 e +48 dopo la soglia dei 16mm. Precipitazioni cumulate in 12 ore (accuratezza): L accuratezza presenta una evidente uniformità nel comportamento di tutte le scadenze rispetto alle soglie analizzate. Dopo la soglia dei 6 mm l accuratezza decresce in maniera quasi lineare con l aumentare delle soglie. 12

13 5 Risultati Parametri Quota 5.1 COSMO-ME corsa 00 UTC Temperatura: E evidente una sistematica sottostima del campo della temperatura in tutti gli step fino al livello 500 dopo il quale il valore medio si attesta intorno allo zero. Si osserva come l errore assoluto mantenga un andamento simile in quasi tutti gli step (unica differenza negli step +42 e +66) collocandosi intorno al valore 1,5 C nei bassi strati e al valore 1 C nei livelli in cui si riscontra l assenza dell errore medio. 13

14 Velocità del vento: Il valore medio assume andamento prossimo allo zero i tutte le scadenze(tranne per +18;+42 e +66) per quasi tutti i livelli. L errore assoluto si attesta intorno ai 3m/s in tutti gli step. 14

15 6 Riferimenti bibliografici 1. Jolliffe, I.T. and D.B. Stephenson, Forecast Verification: A Practitioner s Guide in Atmospheric Sciences (Wiley) 2. Wilks, D.S., Statistical Methods in the Atmospheric Sciences: An Introduction (Chapter 7: Forecast Verification) (Academic Press). 15