Sistemi Colturali. Sistemi colturali analizzati e gestiti con modelli di simulazione (2)

Transcript

1 Sistemi colturali analizzati e gestiti con modelli di simulazione (2)

2 Vedremo diverse tipologie di modelli per l analisi e la gestione dei sistemi colturali Ma prima: Perché ce ne sono molti? Ne esiste uno migliore? Come scegliere quello più adatto per uno specifico studio?

3 Capacità di spiegare Modellistica di simulazione Misure dirette Indicatori agroecologici Telerilevamento Precisione Applicabilità

4 Capacità di spiegare Modellistica di simulazione Misure dirette Indicatori agroecologici Telerilevamento Precisione Applicabilità

5 Valutare i modelli Qualunque sia l applicazione specifica per la quale viene richiesto l uso di un modello di simulazione, è necessario: 1. identificare chiaramente gli obiettivi (cosa deve fare esattamente il mio modello?) e le condizioni di applicazione (es. scala, disponibilità di dati) 2. derivarne un criterio quantitativo per valutare i modelli in base alla loro adeguatezza 3. utilizzare il criterio ottenuto per ordinare i modelli 4. scegliere il modello più adeguato per la specifica applicazione (il miglior modello per quell obiettivo ed in quelle condizioni) 5. usare criticamente il modello scelto

6 Diversi punti di vista Pablo Picasso, Guernica (1937)

7 Diversi punti di vista Il criterio scelto per valutare i modelli disponibili dipende fortemente dal punto di vista. Oggi cercheremo di capire perché intanto limitatevi a tenere bene a mente questa cosa.

8 Accuratezza Accuratezza (ISO ) In modellistica, viene intesa come una stima dello scarto tra valori misurati e simulati. Esistono molti indici per valutarla (Loague and Green, 1991).

9 Accuratezza Root mean square error (RMSE; minimo e ottimo = 0; massimo = + ; Fox, 1981) RMSE n i1 S i M n i 2 Relative root mean square error (RRMSE; minimo e ottimo = 0%; massimo = + ; Jørgensen et al., 1986; anche chiamato GSD: General standard deviation) RRMSE n i1 S i n M M i 2 100

10 Accuratezza Modelling Efficiency (EF; minimo = - ; massimo e ottimo = 1; Nash and Sutcliffe, 1970) se negativo, la media dei misurati è meglio del modello!!! Coefficient of Residual Mass (CRM; minimo = - ; massimo = + ; ottimo = 0; Loague and Green, 1991; se positivo indica sottostima; se negativo sovrastima) n i i n i i i M M M S EF n i i n i i n i i M S M CRM 1 1 1

11 Accuratezza Attenzione che gli indici non danno tutti la stessa informazione: valutano aspetti diversi dell accuratezza rilevamento misurati simulati misurati simulati RRMSE = 34.21% EF = 0.51 rilevamento misurati simulati misurati simulati RRMSE = 8.44% EF = -0.17

12 Accuratezza e ancora rilevamento misurati simulati misurati simulati RRMSE = 20.69% CRM = 0.00 rilevamento misurati simulati misurati simulati RRMSE = 20.69% CRM = 0.21

13 Accuratezza Esempi di valori di RRMSE e EF per diverse variabili Variabile RRMSE (%) EF biomassa aerea indice di area fogliare concentrazione di N totale asportazioni di azoto contenuto idrico azoto minerale nel suolo

14 Complessità Il rasoio di Occam Entia non sunt multiplicanda praeter necessitatem (bisogna assumere la spiegazione più semplice per un fenomeno se non ci sono evidenze per sceglierne una più complessa) (William di Occam, ) La semplicità costituisce l ultima sofisticazione (Leonardo da Vinci, ) Non possiamo assumere spiegazioni di fenomeni oltre a quelle siano sia vere che sufficienti (Isaac Newton, )

15 Complessità Il rasoio di Occam Grandi effetti con strumenti semplici (Ludwig van Beethoven, ) Si è raggiunta la perfezione non quando non c è più niente da aggiungere, ma quando non c è più niente da togliere (Antoine de Saint Exupéry, )

16 Complessità Tutte queste enunciazioni forniscono in qualche modo una definizione di semplicità che valuta due elementi: l adeguatezza della soluzione fornita per spiegare un fenomeno il fatto che quel livello di adeguatezza sia raggiunto nel modo più semplice possibile (se c è una componente nella soluzione fornita che non ne incrementa l adeguatezza, quella componente non spiega niente del fenomeno e quindi deve essere eliminata dalla soluzione)

17 Complessità Attenzione: il rasoio di Occam è considerato per sua stessa natura uno strumento conservativo. Quindi potenzialmente in grado di rallentare il progresso scientifico. Questo ha portato grandi scienziati e pensatori (e.g., Leibniz, Kant) a polemizzare con Occam, tanto da arrivare a formulare anti-rasoi. In realtà, è semplicemente uno strumento potente, e come tale va usato nel modo corretto e senza abusi. Ritengo che la famosa frase di Einstein Ogni cosa dovrebbe essere fatta nel modo più semplice possibile, ma non più semplice spesso considerata formulazione alternativa del rasoio, non sia altro che un invito a usare lo strumento, ma con cautela.

18 Complessità Akaike s Information Criterion (AIC) Premia modelli che garantiscono buone performance richiedendo pochi input (sia parametri che variabili) E considerato un ottima formulazione operativa del rasoio di Occam

19 Complessità AIC MSE T n log 2 MSE 1 n n S i M i i1 2 n: numero di coppie misurato/simulato T: numero di input (parametri + variabili) S : i valore simulato M : i valore misurato

20 Complessità Esempio: Confalonieri et al. (2009)

21 Robustezza Una possibile definizione: Un modello è robusto quando è in grado di riprodurre correttamente l andamento nel tempo di diverse variabili di stato misurate in una gran varietà di condizioni pedoclimatiche e gestionali. E uno degli aspetti chiave nella modellistica, dal momento che ha a che fare con l abilità di un modello di funzionare in condizioni diverse da quelle per le quali è stato calibrato e validato (e.g., scenari climatici, gestionali, applicazioni a larga scala per uso operativo, servizi, ecc.).

22 Robustezza La mancanza di robustezza può essere dovuta a: incoerenza in alcune relazioni matematiche usate per formalizzare la conoscenza, buchi di conoscenza, inclusione nei parametri del modello (che dovrebbero invece rappresentare solo le caratteristiche del sistema modellizzato, a prescindere dalla condizioni di applicazione) di fattori relativi a specifiche località, stagioni o agrotecniche. Ma come fare a quantificarla?

23 Robustezza

24 Robustezza Indicatore di robustezza (I R ) I R EF SAM i: giorno dell anno, 60 = 1 marzo; 304 = 31 ottobre; SAM va da -1 (arido) a +1 (umido) IR va da 0 (ottimo) a + SAM 304 i60 Rain i60 i Rain 304 i60 ET 0 ET 0 SAM può essere sostituito con qualunque altro indice normalizzato per caratterizzare le condizioni di applicazione di un modello (ATTENZIONE!) Il concetto è di calcolare il rapporto tra variabilità dell errore e variabilità delle condizioni di applicazione.

25 Robustezza Attenzione: non è detto che il modello più accurato sia anche il più robusto!

26 Bilanciamento

27 Bilanciamento Bilanciamento?!

28 Bilanciamento Il problema è che un modello il cui output che dipende quasi esclusivamente da un parametro è frustrante per lo sviluppatore comodissimo per utenti pigri Molto semplice da calibrare pericolosissimo! Esempio: se cambio varietà e la nuova varietà differisce in modo sostanziale per le caratteristiche codificate nel valore di parametri ai quali il modello è molto sensibile da quella usata in fase di calibrazione, il modello darà i numeri del lotto

29 Bilanciamento Il metodo si basa sull applicazione del test di Grubbs per gli outliers (Grubbs, 1969) agli indici di sensitività calcolati per i vari parametri. G X X 1 p 1 p X i X i1 SOSPETTI 2 X i sono i vari indici di sensitività p è il numero totale di parametri Se uno (o più d uno) degli indici di sensitività è significativamente più alto degli altri (G è maggiore del valore tabulato), allora il modello è sbilanciato.

30 Plasticità Il metodo

31 Plasticità E la tendenza di un modello a cambiare il suo comportamento al variare delle condizioni esplorate. Cambiamenti nel comportamento del modello vengono quantificati attraverso la concordanza tra i ranking negli indici di sensitività dei parametri (TDCC) Nel caso di modelli agroambientali, questo indice assume particolare importanza, per via della plasticità fenotipica tipica delle entità modellizzate. Immagate di voler individuare il modello più adatto per studiarla

32 Plasticità WARM WOFOST

33 Plasticità

34 Plasticità

35 Metriche diverse Le diverse metriche di valutazione «premiano», di volta in volta, modelli diversi: è fondamentale definire un criterio di valutazione specifico per gli obiettivi dello studio e per le condizioni di applicazione.

36 Valutare in diversi domini Le diverse

37 Valutare modelli idrologici Quando si valuta un modello, in genere si confrontano matrici unidimensionali di dati misurati e simulati (variabili di stato misurate o simulate in diversi momenti). Quando si considerano variabili riferite al suolo, al contrario, si ha spesso a che fare con matrici bidimensionali: una dimensione è il tempo (come per le variabili di stato relative alle piante, e.g., LAI, AGB), l altra dimensione è la profondità. Inoltre, può spesso essere interessante pesare in modo diverso differenze tra dati misurati e simulati che si riferiscono a diverse profondità. In ogni caso, è irragionevole considerare in modo indipendente serie temporali di dati che si riferiscono a diverse profondità.

38 Valutare modelli idrologici

39 Definire metodi specifici! La diversa informazione contenuta nelle diverse metriche che abbiamo visto riflette la necessità di valutare, a seconda dei casi, aspetti diversi del comportamento di modelli sviluppati per rappresentare determinati aspetti dello stesso dominio. La metodologia proposta per i modelli idrologici ci dimostra invece come le procedure di valutazione, per essere efficaci, vanno pensate in modo che siano davvero funzionali ad affrontare problematiche specifiche: ricordate la questione dei chiodi e del martello

40 Bibliografia Bellocchi, G., Rivington, M., Donatelli, M., Matthews, K., Validation of biophysical models: issues and methodologies. A review. Agron. Sustain. Dev., doi: /agro/ Bregaglio, S., Donatelli, M., Confalonieri, R., Acutis, M., Orlandini, S., An integrated evaluation of thirteen modelling solutions for the generation of hourly values of air relative humidity. Theoretical and Applied Climatology, in press. Confalonieri, R., Acutis, M., Bellocchi, G., Donatelli, M., Multi-metric evaluation of the models WARM, CropSyst, and WOFOST for rice. Ecol. Modell. 220, Confalonieri, R., Bregaglio, S., Bocchi, S., Acutis, M., An integrated procedure to evaluate hydrological models. Hydrological Processes, in press. Fox, D.G., Judging air quality model performance: a summary of the AMS workshop on disperision model performance. Bull. Am. Meteorol. Soc. 62, Grubbs, F.E., Procedures for detecting outlying observations in samples. Technometrics 11, Jørgensen, S.E., Kamp-Nielsen, L., Christensen, T., Windolf-Nielsen, J., Westergaard, B., Validation of a prognosis based upon a eutrophication model. Ecol. Modell. 32, Loague, K.M., Green, R.E., Statistical and graphical methods for evaluating solute transport models: overview and application. J. Contam. Hydrol. 7, Mayer, D.G., Butler, D.G., Statistical validation. Ecol. Modell. 68, Nash, J.E., Sutcliffe, J.V., River flow forecasting through conceptual models, Part I - A discussion of principles. J. Hydrol. 10, Rivington, M., Bellocchi, G., Matthews, K.B., Buchan, K., Evaluation of three model estimations of solar radiation at 24 UK stations. Agr. Forest. Meteorol. 135, Rykiel Jr., E.J., Testing ecological models: the meaning of validation. Ecol. Modell. 90,