Il metodo di Gauss-Newton per le regressioni non-lineari

Transcript

1 Il metodo di Gauss-Newton per le regressioni non-lineari Andrea Onofri Dipartimento di Scienze Agrarie ed Ambientali Università degli Studi di Perugia Versione on-line: onofri/rtutorial/index.html Sviluppo del metodo iterativo L algoritmo di Gauss-Newton è basato sull espansione in serie di Taylor; in breve, il principio è che ogni funzione f(x) derivabile nel punto x 0 e che ammetta derivate fino all ordine n- in un intervallo che contiene il punto x 0 può essere approssimata con un polinomio P(x), di grado minore o uguale ad n- e definito da: P (x) f(x 0 ) + f (x 0 )(x x 0 ) + f (x 0 )(x x 0 ) f n (x 0 )(x x 0 ) Nel punto x 0 P(x) assume lo stesso valore della funzione f(x), mentre per x diverso da x 0 esso approssima solamente il valore reale della f(x). In parole più semplici e fermando l espansione alla derivata prima, posso dire che se ho una funzione f(x) derivabile in un punto x 0 e della quale conosco f(x 0 ), posso utilizzare la retta tangente alla funzione in x 0 per ottenere valori approssimati per f(x) in un intorno di x 0, il che è utile, se la f è complessa. Lo sviluppo di Taylor può trovare applicazione nelle regressioni non lineari. Infatti, immaginiamo di avere due osservazioni sperimentali, con: X Y Immaginiamo di voler descrivere il vettore Y con una funzione del tipo: Y exp(θ X) Nello spazio a due dimensioni (R 2 ), il problema può essere posto come in figura : il punto Y rappresenta la risposta osservata, mentre la risposta attesa giace sulla curva E(Y), ottenuta assegnando al parametro θ i valori possibili E(Y) g(θ): exp(θ 0.5) E(Y ) exp(θ 5.5)

2 SVILUPPO DEL METODO ITERATIVO 2 Figura : Geometria delle regressioni non-lineari Trovare la risposta attesa E(Y) equivale a trovare il punto della curva più vicino ad Y, minimizzando quindi lo scostamento ɛ. Tuttavia, a differenza del caso lineare, la superficie dove giace la risposta attesa è curva, non lineare (gli incrementi sono più grandi al crescere di θ) e, talvolta (non in questo caso) la superficie è finita. Insomma, il problema della minimizzazione di ɛ non può essere sempre risolto direttamente in modo banale, come nel caso lineare. Possiamo quindi sfruttare le serie di Taylor, ed approssimare la g(θ) tramite la sua derivata prima g (θ). Il metodo è iterativo e si sviluppa in questo modo. PRIMA ITERAZIONE - Fissiamo un valore iniziale verosimile per θ (ad esempio θ 0). 2 - Tracciamo la derivata prima di g(θ) nel punto θ 0. In figura 2, la retta passa per il punto g(θ) e per il punto V, individuato da:

3 SVILUPPO DEL METODO ITERATIVO 3 g(θ ) exp(0 0.5) exp(0 2.5) V dexp(θ 0.5) dexp(θ 2.5) Figura 2: Linearizzazione della regressione 3 - Spostiamo l origine degli assi in corrispondenza del punto g(θ) ed otteniamo quindi il punto Y definito come: Y La distanza al quadrato di Y dall origine degli assi è pari a Y T Y.09

4 SVILUPPO DEL METODO ITERATIVO 4 che rappresenta la devianza del residuo del modello non-lineare in questa prima iterazione. Ora il problema è posto in forma lineare: si tratta di trovare il punto della retta g (θ) più vicino a Y, cosa che può essere fatta con le usuali metodiche (approssimazione lineare): β (V T V ) V T Y Il valore di β indica di quanto ci dobbiamo spostare lungo la retta tangente (cioè quanto dobbiamo aggiungere o togliere a θ) per trovare il punto più vicino ad Y. Siccome la retta approssima il valore di g(θ), se poniamo θ2 θ + β otteniamo una nuova stima di θ che ci porta più vicini di prima al valore ricercato. Possiamo quindi procedere ad una nuova iterazione. SECONDA ITERAZIONE - Fissiamo θ Individuiamo la derivata prima, generata da: exp( ) g(θ 2 ) exp( ) V dexp(θ2 0.5) dexp(θ 2 2.5) Spostiamo l origine degli assi in corrispondenza del punto g(θ2) ed otteniamo il punto Y 2 : Y La devianza del residuo in questa seconda iterazione è pari a Y T 2 Y Calcoliamo ora un nuovo incremento e quindi un nuovo valore di θ: β (V T V ) V T Y θ Proseguendo nelle iterazioni otteniamo i valori di θ e di devianza riportati in tabella.

5 2 PER APPROFONDIMENTI 5 Iterazione RSS θ Alla sesta iterazione la variazione del valore di θ diviene trascurabile così come quella della devianza residua. Di conseguenza il processo iterativo può essere arrestato, considerando di aver raggiunto la convergenza. 2 Per approfondimenti BATES DM, WATTS DG (988). Nonlinear Regression Analysis and Its Applications. John Wiley & Sons, Inc., New York.