Sistemi Colturali. Progetto IdeoRice - WP6. Sensitivity analysis Esplorare l iperspazio dei parametri

Transcript

1 Progetto IdeoRice - WP6 Sensitivity analysis Esplorare l iperspazio dei parametri

2 Cos è? A cosa serve? L analisi di sensitività ha l obiettivo di quantificare il ruolo di ogni fattore incerto (parametro o variabile guida) nello spiegare la variabilità degli output di modelli matematici (parametro o variabile guida) (Cariboni et al., 2007). Viene tradizionalmente utilizzata per identificare i parametri del modello che, nelle specifiche condizioni di applicazione, risultano più rilevanti e quindi quelli sui quali concentrare le attività di parametrizzazione (attraverso misure dirette) e/o calibrazione (calibrare molti parametri contemporaneamente può essere molto pericoloso).

3 Cos è? A cosa serve? Ultimamente viene utilizzata per analizzare il comportamento dei modelli, tanto in fase di creazione degli stessi (da parte quindi dello sviluppatore) che in fase di comprensione (da parte quindi dell utente) (Tarandola e Saltelli, 2003). E possibile utilizzare tecniche di sensitivity analysis anche per processi di riduzione o semplificazione di modelli, in modo da evitare ridondanze nella struttura del modello e/o overparametrizzazioni (Ratto et al., 2001). Oppure per identificare moduli per i quali è necessario aumentare il livello di raffinatezza nella rappresentazione dei processi in gioco.

4 Cos è? A cosa serve? In questo contesto, sono stati ultimamente proposti indicatori e criteri per valutare aspetti specifici del comportamento dei modelli matematici, come il bilanciamento (Confalonieri, 2010) e la plasticità (Confalonieri et al., 2012). Alcuni autori (Refsgaard et al., 2005) suggeriscono di adottare un processo iterativo, nel quale il modello è analizzato e modificato nel corso del suo sviluppo, prima ancora di confrontarne gli output con dati osservati (Jakeman et al., 2006). Queste considerazioni portano a valutare il processo di sviluppo del modello prima del sul prodotto, suggerendo che la qualità del modello è, in larga misura, funzione del modo in cui è stato sviluppato (Ravetz, 1997).

5 Cos è? Sistemi Colturali In passato (e a volte, purtroppo, tutt ora ) l analisi di sensitività è stata condotta: dividendo il campo d esistenza dei parametri del modello in intervalli regolari effettuando, un parametro alla volta, simulazioni per ciascun valore derivante dalla divisione in intervalli registrando ogni volta il risultato Quali sono i limiti di questo approccio? non esplora in modo efficiente l iperspazio dei parametri non tiene conto delle interazioni dei parametri

6 Parsimonia Accuratezza Metodi di sensitivity analysis Metodi di screening (media e deviazione standard di rapporti incrementali) Morris Regression-based methods (calcolo di coefficienti di regressione standard o parziali per quantificare gli effetti di variazioni nel valore dei fattori) Latin Hypercube Sampling Random Quasi-Random LpTau Variance-based methods (scomposizione della varianza) Sobol Fourier Amplitude Sensitivity Test (FAST) Extended FAST

7 Metodi di screening Morris Il metodo di Morris (Morris, 1991) viene tipicamente utilizzato per individuare i parametri con rilevanza molto bassa, in modo da ridurre il numero di quelli da sottoporre a metodi di analisi più onerosi in termini di tempo computazionale. In comparative con altri metodi, in realtà, si è dimostrato molto efficace nell ordinare i parametri in base alla loro rilevanza. Spesso viene quindi utilizzato singolarmente, senza l applicazione successiva di altri metodi (Confalonieri et al., 2010; Yang, 2011).

8 Metodi di screening Morris Assumiamo che X = (x 1,, x k ) sia il vettore dei k parametri sui quali si sta effettuando l analisi. Riscalare tutte le variabili in modo da fargli assumere solo valori tra 0 e 1. x i è forzato ad assumere solo p valori discreti (i.e., livelli) all interno dell insieme {0, 1/(p-1), 1/(p-2),, 1}. Assumendo Δ come un multiplo di 1/(p-1) e y(x) come l output del modello, ogni effetto elementare R i (x i, x k, Δ) è dato da R i ( x 1,..., x k, ) y x,..., x, x, x,..., x y x,..., x 1 i 1 i i 1 k 1 k

9 Metodi di screening Morris Sono poi calcolati media (μ) e deviazione standard (σ) della popolazione dei rapporti incrementali ottenuti campionando l iperspazio Ω, definito da una griglia caratterizzata da k dimensioni e p livelli. μ rappresenta l effetto totale del fattore sull output, σ identifica non linearità nella risposta del modello o interazioni con altri fattori. μ e σ sono calcolati su differenti traiettorie (r), per un totale di r(k+1) run del modello.

10 Regression-based methods LHS, Random, LpTau Il principio dei regression-based methods è di approssimare la relazione tra output e fattori attraverso un equazione del tipo: y b n 0 b i x i i 1 dove y è l output del modello, x i è l i-esimo fattore, n è il numero di fattori, b i è il coefficiente da stimare per x i, ε è l errore casuale. Quando i fattori x i sono indipendenti, si può utilizzare il coefficiente di regressione standardizzato (SRC) per ottenere una stima dell indice di sensitività per il fattore x i : s s SRC x i bi dove j e sono le deviazioni standard del fattore e dell output. s s j

11 Regression-based methods LHS, Random, LpTau Ogni SRC quantifica l effetto della variazione di un fattore, rispetto al suo valore standard, di una frazione fissa della sua deviazione standard, con gli altri fattori fissi ai loro default. Questa famiglia di metodi fornisce anche il coefficiente di determinazione R 2, che indica la porzione di varianza totale spiegata dal modello regressivo. Se il modello regressivo è realmente capace di spiegare la relazione tra fattori e output, più alto è il valore di SRC, maggiore sarà la rilevanza del fattore. Tra le tecniche di campionamento più utilizzate per generare le combinazioni di fattori per metodi basati sulla regressione, ci sono Ipercubo Latino, Random, Quasi-Randon LpTau.

12 Variance-based methods Sobol, FAST, E-FAST I variance-based methods usano un rapporto tra varianze per stimare la rilevanza dei fattori. Sono basati sulla scomposizione della varianza totale dell output di un modello V(Y) (analogamente all ANOVA) basandosi sull equazione: V n n Y Di Dij... i 1 i j n i... n dove D i rappresenta il first-order effect per ogni fattore x i (D i = V[E(Y/x i )]) e i valori da D ij (D ij = V[E(Y/x i,x j )] - D i - D j ) a D 1 n l interazione tra n fattori. n D 1... n

13 Variance-based methods Sobol, FAST, E-FAST La varianza di V[E(Y/x i )] rappresenta il main effect di x i (S i ) ed è usata per quantificare la sua rilevanza nello spiegare le variazioni nell output: S i V E Y V / Y x Per ogni fattore, è utile inoltre calcolare il total sensitivity index (ST i ), corrispondente al suo effetto inteso come effetto del fattore xi e delle interazioni del fattore x i con gli altri. i ST S S... S i i ij 1... n j i

14 Variance-based methods Sobol, FAST, E-FAST Due fattori hanno interazione se il loro total effect sull output non è uguale alla somma dei loro effetti di prim ordine. L effetto dell interazione di due fattori (effetto di second ordine) è dato da: Y V E Y x, x V E Y x V E Y x V ij i j i j dove V(E[Y/ x i,x j ]) descrive l effetto della coppia (x i, x j ) su Y. Effetti di interazioni d ordine superiore al secondo sono calcolati in modo analogo.

15 Metodi di sensitivity analysis Anche i metodi per l analisi di sensitività hanno parametri (attenzione: non sono i parametri dei modelli che analizzano)! Può essere interessante analizzare la stabilità dei metodi al variare dei loro parametri.

16 Metodi di sensitivity analysis Per valutare il modo in cui i diversi metodi ordinano i parametri in base alla loro rilevanza può essere utile usare il Top-Down Concordance Coefficient (TDCC; Iman e Conover, 1987) calcolato in base ai Savage Score (Savage, 1956)

17 Metodi di sensitivity analysis La concordanza tra rankings è considerata non-statisticamente significativa per p-value maggiori di dove p-value è calcolato dalla statistica T, che approssima una distribuzione Χ 2, con K-1 gradi di libertà: L ipotesi nulla è: assenza di concordanza tra i rankings.

18 Metodi di sensitivity analysis

19 Metodi di sensitivity analysis

20 Metodi di sensitivity analysis

21 Metodi di sensitivity analysis

22 Metodi di sensitivity analysis

23 I risultati di sensitivity analysis variano con condizioni esplorate

24 I risultati di sensitivity analysis variano con condizioni esplorate

25 Sensitivity analysis & ideotyping Nel nostro caso: parametro del modello ~ tratto (Semenov and Stratonovitch 2013). L analisi di sensitività ci servirà: per capire quali sono i tratti per i quali variazioni (all interno di valori possibili data una certa variabilità genetica di partenza) potrebbero dare i migliori benefici; per valutare le performance di possibili ideotipi. Benefici in rapporto a specifiche funzioni obiettivo non è detto che massimizzare la resa sia sempre e comunque ciò che più desideriamo!

26 Sensitivity analysis & ideotyping Esempio: Siamo interessati alla qualità delle produzioni: Il distretto per cui stiamo conducendo l analisi è caratterizzato da condizioni di disponibilità idrica molto limitata Vogliamo pensare a genotipi specifici per agricoltura biologica La "funzione obiettivo" (e quindi l ideotipio) dipende dallo scenario!!!

27 Sensitivity analysis & ideotyping Cercheremo di capire che caratteristiche dovranno avere gli ideotipi considerando: le loro performance lo "sforzo" per produrli Il profilo dell ideotipo sarà determinato dalla media dei valori dei tratti per l 1% dei possibili genotipi che hanno ottenuto il miglior valore di Iscore

28 References Sistemi Colturali Cariboni, J., Gatelli, D., Liska, R., Saltelli, A., The role of sensitivity analysis in ecological modelling. Ecol. Model. 203, Confalonieri, R., Monte Carlo based sensitivity analysis of two crop simulators and considerations on model balance. Eur. J. Agron., 33, Confalonieri, R., Bellocchi, G., Bregaglio, S., Donatelli, M., Acutis, M., Comparison of sensitivity analysis techniques: A case study with the rice model WARM. Ecol. Model. 221, Confalonieri, R., Bregaglio, S., Acutis, M., Quantifying plasticity in simulation models. Ecological Modelling, 225, Grubbs, F., Procedures for detecting outlying observations in samples. Technometrics, 11, Iman, R.L., Conover, W.J., A measure of top-down correlation. Technometrics 293, Jakeman, A.J., Letcher, R.A., Norton, J.P., Ten iterative steps in development and evaluation of environmental models. Environ. Model. Softw. 21, Morris, M.D., Factorial sampling plans for preliminary computational experiments. Technometrics 33, Ratto, M., Tarantola, S., Saltelli, A., Sensitivity analysis in model calibration. GSA-GLUE approach. Comp. Phys. Comm. 136, Ravetz, J.R., Integrated Environmental Assessment Forum: Developing Guidelines for Good Practice. Darmstadt University of Technology. ULYSSES WP-97 1, ULYSSES Project. Refsgaard, J.C., Henriksen, H.J., Harrar, W.G., Scholte, H., Kassahun, A., Quality assurance in model based water management review of existing practice and outline of new approaches. Environ. Model. Softw. 20, Savage, I.R., Contributions to the Theory of Rank Order Statistics the Two-sample Case. Ann. Math. Statist. 27, Semenov, M.A., Stratonovitch, P., Designing high-yielding wheat ideotypes for a changing climate. Food Energy Secur. 2, Tarantola, S., Saltelli, A., SAMO 2001: methodological advances and innovative applications of sensitivity analysis. Reliab. Eng. Syst. Safety 79, Yang, J., Convergence and uncertainty analysis in Monte-Carlo based sensitivity analysis. Environ. Model. Softw. 26,