Controllo di qualità dei dati giornalieri di temperatura minima e massima e di precipitazione

Transcript

1 Quaderno Tecnico ARPA-SIM n 15/2003 Controllo di qualità dei dati giornalieri di temperatura minima e massima e di precipitazione Valentina Pavan Rodica Tomozeiu Andrea Selvini Stefano Marchesi Chiara Marsigli AREA SALA OPERATIVA METEO E CLIMATOLOGIA AREA MODELLISTICA E RADARMETEOROLOGIA

2 Introduzione E noto che i dati osservativi sono spesso affetti da errori. Se, da una parte, questo non è un motivo sufficiente per evitarne l uso, dall altro, questo fatto non può venire completamente trascurato, dal momento che la presenza di errori nei dati potrebbe cambiare le caratteristiche statistiche dei dati stessi. La pratica comune è quella di far precedere l uso dei dati da un controllo di qualità che ne individui gli errori facendo uso di regole oggettive e permetta di scartare i dati più sospetti. Nel seguito vengono descritte le due distinte tecniche usate per controllare la qualità dei dati giornalieri di precipitazione e di temperatura (massima e minima) rilevati presso le stazioni dell ex Servizio Idrografico e Mareografico Nazionale. Le tecniche qui descritte possono venire applicate solo nel caso sia disponibile o una serie temporale sufficiente lunga (di almeno trenta o quaranta anni di dati) sia per la stazione da controllare, che per alcune stazioni circonvicine, o le caratteristiche principali del clima della regione in cui è collocata la stazione da controllare. La tecnica di controllo non include controlli incrociati fra precipitazione e temperatura. Infine, le soglie che definiscono la credibilità dei dati sono state scelte in modo tale da minimizzare il numero di dati apparentemente validi, scartati dal controllo di qualità, e nello stesso tempo massimizzare la identificazione di possibili dati erronei. Al termine del controllo di qualità ad ogni dato viene associata una flag che consiste in un numero intero che può assumere i valori 0, 1 e 2. Se la flag ha valore 0 il dato è valido, se la flag ha valore 1 il dato viene considerato sospetto, ma può venire usato, se infine la flag ha valore 2 il dato non ha passato il controllo di qualità, è molto probabilmente sbagliato e bisogna evitare di usarlo. Il controllo di qualità qui descritto è stato implementato in due programmi scritti in Fortran 77 il cui listato è stato incluso nelle Appendici A e B di questo documento. Tali programmi richiedono in input un file ASCII di anagrafica delle stazioni, contenente tanti record quante sono le stazioni disponibili per il controllo di qualità. In ogni record di questo file devono essere incluse le seguenti informazioni: il codice della stazione, la sua latitudine e longitudine in gradi e centesimi di grado, e la sua quota in metri sul 1

3 livello del mare. Sempre in input il programma richiede tanti file di dati quante sono le stazioni. Anche questi file sono di tipo ASCII e in ogni record contengono la data (giorno, mese, anno) e il valore (precipitazione) o i valori (temperatura minima e massima) per quel giorno. Il programma rende in uscita due file ASCII per ogni stazione. Il primo contiene i dati con associata flag e ogni record contiene la data (giorno, mese anno) il valore giornaliero e la sua flag. nel secondo file sono elencati i dati con flag pari a 2, i motivi per cui ciascuno di essi è stato considerato sbagliato, nonché un riassunto dei dati di quel giorno (per la stazione e, se opportuno, per le stazioni circonvicine). Nel seguito, prima viene descritto il controllo di qualità per i dati di temperatura, poi per quelli di precipitazione. Il controllo di qualità della Temperatura massima e minima Prima di iniziare il controllo di qualità è necessario che per ogni stazione vengano identificate cinque stazioni circonvicine. Esse vengono identificate automaticamente sulla base dei dati di anagrafica delle stazioni, facendo uso del solo criterio di distanza. Per ogni stazione vengono calcolate le distanze da tutte le altre stazioni disponibili e quindi vengono riordinate in base al criterio di distanza crescente. A questo punto, le prime cinque stazioni vengono usate come riferimento per la stazione analizzata. Questa scelta trascura completamente l informazione relativa alla quota della stazione. Da un lato, questo è possibile perché il dato viene controllato confrontandolo con il clima giornaliero della stazione, sia per quanto riguarda il suo valore che per la sua variazione sulle 24 ore, facendo uso di soglie caratteristiche per ogni stazione, ed entrambi questi controlli risultano essere sufficientemente indipendenti dalla quota della stazione stessa. Dall altro, questa scelta è resa necessaria dal ridotto numero di stazioni disponibili che rende la distanza quadratica media fra stazioni molto grande, soprattutto per certe fasce di altitudine. Il controllo della temperatura minima e massima giornaliere si ottiene quindi facendo passare i dati in successione attraverso tre gruppi di controlli: controlli di tipo logico, controlli di tipo climatologico e controlli di tipo temporale. Qualora un dato non superi 2

4 uno dei criteri sotto elencati viene assegnata ad esso una flag non nulla. A) Controlli logici Inizialmente, il dato viene fatto passare attraverso i seguenti controlli: se il dato ha un valore uguale al valore scelto per il dato mancante (nel nostro caso ), ad esso viene data una flag di valore 2; se T min > T max i loro valori vengono scambiati e si procede nel controllo; se T min o T max sono minori di un valore minimo o maggiori di un valore massimo assegnato, il dato è considerato sbagliato (flag=2). I dati sono considerati validi solo se o C < T min < 40.0 o C oppure o C< T max < 50.0 o C. B) Controlli climatologici Il controllo climatologico si sviluppa in due stadi successivi. Prima di tutto, il dato viene confrontato con la climatologia della stazione presso la quale è stato rilevato. Si possono verificare le seguenti possibilità: se l anomalia del dato rispetto alla climatologia del giorno in cui è stato rilevato è minore o uguale di due deviazioni standard, tipiche per quel giorno dell anno e quella stazione, allora il dato viene considerato corretto (flag=0); se l anomalia è maggiore di due e minore di tre deviazioni standard, il dato viene considerato sospetto, ma non sbagliato (flag=1); se l anomalia è maggiore di tre deviazioni standard, allora si procede ad un ulteriore indagine di confronto del dato con quelli delle stazioni vicine (controllo spaziale). Il controllo spaziale, applicato ai soli dati possibilmente sbagliati, mette di fronte alle seguenti possibilità: se sono definiti i valori per quel giorno solo su meno di tre delle cinque stazioni circonvicine della stazione in esame, il dato non può venire ulteriormente controllato e viene considerato sbagliato (flag=2); se, invece, sono definiti i dati in almeno tre delle stazioni vicine, e il valore rilevato presso almeno una di queste ha una anomalia rispetto alla sua climatologia di quel giorno maggiore di due deviazioni standard, il dato viene considerato corretto 3

5 (flag=0); se, infine, sono definiti i dati in almeno tre delle stazioni vicine, e in nessuna di esse è stato rilevato un dato con anomalia maggiore di due deviazioni standard, il dato viene considerato non valido (flag=2). C) Controlli temporali I dati vengono sottoposti a due tipi di controllo temporale. Da un lato viene verificato che la variazione della temperatura minima e massima in 24 ore non superi una soglia assegnata; dall altro viene fatto un controllo sulle persistenze, definite come quei casi in cui il valore della temperatura da un giorno a quello successivo non varia (al decimo di grado). Il controllo sulla variazione giornaliera di temperatura (variazione di T min o T max sulle 24h) mette di fronte alle seguenti possibilità: se la variazione osservata presso la stazione è minore di tre volte il suo valore quadratico medio per quel giorno e quella stazione, il dato viene considerato valido (flag=0); se la variazione osservata è maggiore di tre volte il suo valore quadratico medio, il dato viene considerato sospetto e si procede al controllo dell escursione termica giornaliera (T max -T min ): o se questa grandezza non è definita o nel giorno in esame o in quello precedente (per mancanza di dati) non si può procedere ad ulteriori accertamenti e il dato viene considerato sospetto (flag=1); o se questa grandezza è definita nel giorno in esame e nel giorno precedente, e la sua variazione in 24 ore è minore della sua variazione quadratica media per la stazione e il giorno di calendario in esame, il valore viene considerato valido (flag=0); o se questa grandezza è definita nel giorno in esame e nel giorno precedente, e la sua variazione in 24 ore è maggiore della sua variazione quadratica media per la stazione e il giorno di calendario in esame, allora si procede ai seguenti controlli: prima di tutto si considera il valore della sua variazione nelle stazioni 4

6 circonvicine. Se, in almeno una stazione, la variazione in 24 ore dell escursione termica supera la variazione quadratica media per quella stazione e quel giorno, allora il dato viene considerato buono (flag=0); se il valore di temperatura del giorno prima era stato considerato non valido perché non aveva passato il controllo temporale o perchè si era verificata una persistenza che non aveva passato il controllo di qualità, allora il dato del giorno in esame viene considerato valido (flag=0) in quanto si ritiene inadeguato scartare un dato sulla base di un confronto con un dato sbagliato; Se, dopop i controllo fatti, non è ancora chiaro se il valore possa essere considerato o meno corretto, vengono fatti due ulteriori controlli, così da verificare se i problemi riscontrati con il valore in questione siano invece dovuti al valore rilevato il giorno prima, che ha comunque già passato il controllo di qualità. Ci sono due possibilità: La forte variazione di temperatura si è in realtà verificata il giorno prima, ma, per qualche motivo, ciò non è stato rilevato. Un valore vicino alla persistenza, ma non esattamente uguale a quello per giorno prima, per esempio, potrebbe avere passato il controllo di qualità pur essendo sbagliato. Il valore del giorno prima era sbagliato e ha provocato una variazione giornaliera intensa, senza alcun riscontro con quanto successo realmente. Per controllare se si è verificato uno dei 2 casi ora citati si crea una serie temporale di riferimento mediando i valori corretti rilevati presso le stazioni circonvicine. Quindi si procede come segue: Se si può calcolare la variazione sulle 24h sia per il giorno in esame che per il giorno prima e sia per la stazione in esame che per la serie di riferimento e se il rapporto fra la variazione sulle 24 del giorno prima nella serie di riferimento e quella nella stazione in esame è maggiore di 2.0, allora si assume che il forte cambiamento temporale sia avvenuto il giorno prima e quindi viene data una flag uguale a 2.0 al valore del giorno prima, mentre il valore in esame viene considerato corretto (flag=0); Se i dati sono disponibili e corretti, si confronta il valore in esame con quelli dei due giorni precedenti. Ciò viene fatto calcolando la derivata seconda temporale 5

7 alle differenze finite centrata nel giorno precendente. Se il rapporto fra tale derivata per la stazione in esame e per la serie di riferimento è maggiore di 2 si assume che si sia verificato un errore nei dati. Se il segno della variazione di temperatura del giorno prima è uguale per la stazione in esame e per quella della serie di riferimento, il valore in esame viene considerato errato (flag=2) equello del giorno prima corretto (flag=0). Alternativamente il dato viene considerato sbagliato il dato del giorno prima e corretto il dato in esame. Questo conclude il controllo temporale sulla variazione giornaliera di temperatura. Il controllo sulle persistenze procede nel seguente modo: se il valore rilevato un giorno è uguale (al decimo di grado) a quello rilevato il giorno prima, allora il dato viene considerato sospetto e viene confrontato con la media delle stazioni vicine (dato di riferimento). Se il dato di riferimento è definito insieme alla sua variazione giornaliera (almeno tre delle stazioni vicine sono funzionanti e non riportano persistenze) e la sua variazione giornaliera è maggiore del valore quadratico medio della stessa per quel giorno, allora il dato viene considerato non valido (flag=2). Se nei giorni successivi il valore della temperatura continuasse ad essere persistente, tutti i dati vengono considerati non validi (flag=2) fino a che la persistenza si interrompe; se il valore rilevato un giorno è uguale (al decimo di grado) a quello rilevato il giorno prima, e il dato di riferimento non è definito per mancanza di dati presso le stazioni vicine il dato viene considerato sospetto, ma non necessariamente sbagliato (flag=1); in tutti gli altri casi il dato viene considerato valido. E opportuno notare che il controllo sulle persistenze funziona solo se tali persistenze sono distribuite nelle stazioni in modo casuale. Purtroppo ciò non risulta essere sempre vero: esistono date in cui è più probabile che si verifichino persistenze (ad esempio intorno alle festività principali come Natale, Capodanno, Epifania, Pasqua, Ferragosto, ecc ). In questi casi spesso più di una delle stazioni circonvicine presenta persistenza e talvolta può essere difficile trovare un numero minimo di stazioni vicine con dati utilizzabili. E possibile dunque che persistenze non accettabili non vengano individuate a causa della bassa qualità dei dati disponibili. In pratica questo succede solo per un 6

8 numero molto limitato di casi. Il controllo di qualità della temperatura si conclude con un controllo logico fra T max e T min. Se i due valori sono identici, la stazione considerata è ad una altitudine inferiore a 500m slm e il giorno considerato è incluso nel periodo fra l inizio di aprile e fine settembre si assume che si sia verificato un errore nella registrazione del dato e per assegnare una flag si procede nel seguente modo: se ad uno dei due dati è stato precedentemente assegnato un valore 2 di flag, si assume che l errore sia già stato identificato e il controllo di qualità si considera chiuso se ad uno dei due dati è stato assegnato un valore 1 di flag, allora si incrementa tale flag a 2, assumendo che sia questo dei due dati quello meno credibile se sia T max che T min hanno superato senza problemi il controllo di qualità, non essendo in alcun modo chiaro quale dei due sia sbagliato, entrambi vengono scartati e ad entrambi viene assegnata una flag 2. Questo conclude il processo di controllo dui qualità della temperatura massima e minima. Il controllo di qualità della precipitazione Il controllo di qualità della precipitazione si prefigge di identificare due diversi tipi di errori presenti nei dati. Da un lato, si vuole eliminare la presenza di valori eccessivi di precipitazione giornaliera non rispondenti a realtà, spesso dovuti o a errori di digitazione dati o alla registrazioni di valori di pioggia cumulata su più giorni, ma non identificati come tali. Dall altro. si vogliono identificare periodi non segnalati di mancato funzionamento della stazione. Entrambi questi controlli si avvalgono del confronto del dato della stazione in esame con quelli rilevati presso cinque stazioni circonvicine. L identificazione di tali stazioni procede in modo diverso che per la temperatura per due motivi: il numero di stazioni disponibili in questo caso è maggiore che per la temperatura e la variazione con la quota della pioggia è complessa. Per questi motivi le cinque stazioni più vicine a quella in esame vengono scelte solo fra quelle caratterizzate da una quota sufficientemente vicina alla stessa seguendo i seguenti criteri: 7

9 se la stazione in esame si trova a meno di 1000 m s.l.m. allora vengono considerate solo le stazioni che cadono ad una quota che differisca da quella della stazione stessa di meno di 200 m; se la stazione in esame si trova oltre i 1000 m s.l.m. allora vengono considerate solo le stazioni che cadono ad una quota che differisca da quella della stazione stessa di meno di 500 m. Tutti i controlli spaziali prevedono che almeno tre stazioni con dati rilevati siano disponibili. A) Controlli logici Prima di tutto si procede ad un gruppo di controlli logici: se il dato coincide con il valore di dato mancante (nel caso dei dati in questione ), viene dato valore 2 alla flag; se il dato coincide con il valore di dato cumulato (nel nostro caso 777.7) oppure se il valore del dato del giorno precedente è tale, il dato viene condiderato non valido (flag=2); se infine il dato ha valore negativo, viene considerato non valido (flag=2). B) Eliminazione valori eccessivi Il controllo per eliminare i valori eccessivi di precipitazione non rispondenti a realtà procede nel modo seguente: se il valore di precipitazione osservata è minore del valore climatologico o differisce dal clima di quel giorno per quella stazione per meno di 5 deviazioni standard, allora il dato viene considerato valido (flag=0); se il valore è maggiore del clima e differisce da quello climatologico per più di 5 deviazioni standard, il dato viene considerato sospetto e si procede ad ulteriori indagini. Il trattamento del dato cambia al variare della stagione considerata. Se il giorno in questione cade in estate (dall 1/6 al 31/8) allora il valore viene confrontato con il valore climatologico medio ottenuto sulla base dei soli giorni 8

10 piovosi (precipitazione maggiore o uguale di 1.0 mm) nel corso della decade in questione (ogni mese viene diviso in tre decadi: dal 1 al 10, dall 11 al 20 e oltre il 20 del mese). - se la differenza tra il valore osservato e il clima è minore di 5 deviazioni standard allora si assume che il valore si riferisca ad un temporale intenso e viene ritenuto valido (flag=0). - se la differenza tra il valore osservato e il clima è maggiore di 5 deviazioni standard ma in almeno una delle stazioni vicine si osserva una precipitazione che differisca dal clima dei giorni piovosi della decade per più di una deviazione standard, si assume che il valore analizzato si riferisca ad un evento sinottico localmente molto intenso e che sia dunque valido (flag=0); - in tutti gli altri casi si assume che il dato sia sbagliato (flag=2). Nel caso il giorno in esame cada negli altri mesi dell anno, si procede come segue - se in almeno una delle stazioni vicine piove una quantità di pioggia che supera di due deviazioni standard il valore di pioggia climatologico del giorno stesso, si assume che il dato sia valido (flag=0); - alternativamente il dato viene considerato errato (flag=2). Concluso il controllo di piogge di intensità eccessiva si passa alla identificazione dei periodi di mancato funzionamento della stazione non segnalati. C) Identificazione mancato funzionamento stazione non segnalato Innanzitutto, questo controllo richiede che si verifichino 15 giorni successivi senza pioggia. A questo fine è necessario che non manchi alcun dato nel corso dei quindici giorni in esame, né alcun dato di questo periodo sia stato considerato sbagliato in base ai controlli precedentemente fatti riguardo all intensità delle piogge giornaliere. Si procede, quindi, a controllare la validità dei dati raccolti nel corso di questi 15 giorni solo se esistono almeno tre stazioni circonvicine in cui siano stati rilevati i dati validi per i 15 giorni continuativi in questione. In tal caso, si calcola sia la pioggia cumulata su questo periodo per ogni stazione e si effettua la media su tutte le stazioni vicine, sia il 9

11 numero di giorni di pioggia (con precipitazione giornaliera maggiore di 1.0mm) per ogni stazione sul periodo e se ne fa la media sulle stazioni. Fatto ciò, se non sono disponibili almeno tre stazioni fra quelle circonvicine con cui confrontare i dati in questione, i dati vengono considerati sospetti (flag=1); se la precipitazione cumulata mediata fra le stazioni circonvicine è minore di 10.0mm, i valori vengono considerati corretti (flag=0); se la quantità media di pioggia cumulata sulle stazioni è maggiore di 10mm, ma il numero medio di giorni piovosi è minore o uguale a 2, si assume che la pioggia sia caduta nel corso di un evento temporalesco, che può non aver coinvolto la stazione in esame, e quindi si ritiene che la stazione abbia funzionato correttamente (flag=0); alternativamente, se la quantità media di pioggia cumulata sulle stazioni è maggiore di 10mm, e il numero medio di giorni piovosi è maggiore di 2, si conclude che la stazione non abbia funzionato correttamente nel corso degli ultimi 15 giorni e tutti i dati relativi a questo periodo per la stazione in esame vengono considerati non validi (flag=2). Nel caso sia stata individuata una serie di 15 valori non validi, ogni valore nullo successivo viene automaticamente considerato non valido fino al primo giorno di precipitazione con valore non nullo. Il primo giorno di precipitazione seguente ad un periodo non valido viene anch esso considerato non valido, dal momento che probabilmente è da identificarsi con un valore di pioggia cumulata, non segnalato. Terminato questo controllo si assume che i dati siano stati puliti da eventuali errori. Appendice 1 Codici sorgenti F77 I codici, in Fortran 77, per l applicazione dei controlli di qualità qui descritti a dati giornalieri da stazione sono disponibili su richiesta presso il Servizio Idrometeorologico ARPA-SIM della Regione Emilia-Romagna. Per informazioni contattare: Valentina Pavan c/o ARPA-SIM Viale Silvani Bologna ITALY vpavan@smr.arpa.emr.it 10