Metodi computazionali per i Minimi Quadrati

Transcript

1 Metodi computazionali per i Minimi Quadrati Come introdotto in precedenza si considera la matrice. A causa di mal condizionamenti ed errori di inversione, si possono avere casi in cui il e quindi S sarebbe singolare e non invertibile. Si cerca quindi un metodo per avere una scrittura di S più agibile, che agevoli perciò l inversione. Metodo di Cholesky Si introduce una nuova scrittura in cui L è detta matrice radice quadrata ed è triangolare inferiore. Ma è possibile dimostrare che la matrice L non risulta essere unica, infatti; considerando: B una radice quadrata di S P una qualsiasi matrice ortogonale a B (con appropriate dimensioni) e tale che si ha che quindi anche BP è una radice quadrata per S. Allora per garantire che L sia unica, questa deve essere costruita in modo tale da avere gli elementi sulla diagonale principale tutti positivi. Operativamente : considerando L = (2x2) si ha che Quindi da cui Metodo di Golub-Householder Si considerano l equazione descrittiva del modello ARX in cui - nel caso scalare - nel caso vettoriale Si ha quindi la regressione. Premoltiplicando la regressione per una matrice Q = n*n e tale che si ottiene. Il funzionale di costo allora diventa Poiché Q è stata definita ortogonale e tale che allora Identificazione e Fusione Sensoriale Appunti di DM Pagina 1

2 Operativamente : è conveniente usare una matrice più semplice in cui con V matrice diagonale superiore. In questo modo si ha che. Si definiscono quindi gli elementi come. Chiamiamo i primi p elementi e gli altri n p. A questo punto si può scrivere che di questi termini solo i primi p dipendono da quindi si può scrivere. In questo modo l inversione avviene per una matrice triangolare superiore, quindi più semplice a livello computazionale. Trasformazione di Householder della matrice delle regressioni Il metodo di Golub-Householder si basa sulla trasformazione di Householder il cui la matrice delle regressioni premoltiplicata per una successione di matrici ortogonali ognuna delle quali ha la seguente forma è Ogni è costruito in modo tale che faccia due cose: 1) Deve far si che la matrice sia ortogonale Si definisce perciò con e Per far si che sia ortogonale si impone che. Passando ora a considerare gli elementi delle matrici si può scrivere che : Utilizzando la condizione della norma si ha che e quindi ma poiché per questa analisi si considerano solo i valori positivi e si ha. Identificazione e Fusione Sensoriale Appunti di DM Pagina 2

3 2) Eseguire una fase di triangolarizzazione superiore della matrice (genera una colonna di zeri) Si impone la seguente costruzione della matrice Si impone la seguente costruzione della matrice ma gli elementi si trovano utilizzando la definizione dell ortogonalità ottenendo. Il segno di è scelto in modo tale che massimizzi il valore di, si ottiene quindi: Questo metodo ha eccellenti proprietà numeriche in situazioni in cui altri metodi presentano dei malfunzionamenti. Metodo SVD Questa tecnica ha molto in comune con il metodo di Householder, e si basa sulla decomposizione della matrice. Perciò dove sono matrici ortogonali tra loro. Per quanto riguarda è una matrice diagonale in cui i valori sono le radici quadrate dei corrispondenti auto valori della matrice normale. Infatti si ha che in cui ogni colonna soddisfa la proprietà ( è il corrispondente autovettore). Si osserva che un valore indica una dipendenza lineare tra le colone della matrice. Una volta ottenuta la matrice P è possibile premoltiplicare l espressione per P e si ottiene. Poiché la matrice è ortogonale si può scrivere lo stimatore come I primi p elementi della matrice sono da ed i restanti sono uguali a zero. Risulta quindi che lo stimatore J è minimizzato per una parametrizzazione uguale a si ottiene che. con i = 1,,p e quindi Identificazione e Fusione Sensoriale Appunti di DM Pagina 3

4 Questo metodo quindi individua e rivela con chiarezza i casi di malfunzionamenti e si può agire su di essi considerando un parametrizzazione adatta di. Metodo dei Minimi Quadrati Generalizzati (GLS) Questo metodo consente la stima di un modello lineare, sotto ipotesi più generali rispetto al modello classico. E quindi necessario, in alcuni casi, formulare ipotesi meno restrittive, ad esempio per studiare la presenza di correlazione nei disturbi. Nota: il modello classico Analizzando il disturbo si ha che : si può quindi assumere l assenza di correlazione, cioè. Lo stimatore è Si può quindi scrivere che in cui è una qualsiasi matrice non singolare e definita positiva. Allora lo stimatore GLS è che assegna un peso maggiore alle osservazioni caratterizzate da una minore varianza (dovuta ai termini sono da considerarsi più affidabili. ) che Derivazione dello stimatore: si considera una matrice L non singolare tale che così che. Dato, si considera e si osserva che: Il valore atteso del disturbo rimane nullo La varianza risulta Sostituendo nell espressione dello stimatore del modello classico si ottiene lo stimatore GLS, infatti : Proprietà: Il valor medio è proprietà di correttezza La matrice varianze/covarianze è Stima dei Minimi Quadrati non Lineari Introduzione: la funzione nel caso di modelli lineari nei parametri, ha un unico minimo globale. Il valore che minimizza può essere calcolato in modo esatto con la formula. Nel caso in cui i modelli siano non lineari nei parametri si ha che la funzione può avere forme diverse e può avere diversi punti di stazionarietà in corrispondenza dei minimi locali. Ne consegue che: Spesso non si può ricavare una forma analitica per Spesso è difficile risolvere la forma analitica in quanto può avere molteplici soluzioni Identificazione e Fusione Sensoriale Appunti di DM Pagina 4

5 Per trovare il vettore dei parametri applicare diversi metodi: che annulla il gradiente (trovando quindi un punto di minimo locale) si possono Metodo del gradiente: si fa riferimento ad una approssimazione lineare di con la funzione Come direzione di discesa all istante k si considera la che minimizza. La direzione è quindi che minimizza la derivata direzionale di f. Questo metodo quindi prevede In cui ampiezza del passo di ricerca in ciascuna iterazione Metodo di Gauss-Newton: fa riferimento al metodo di Newton approssimato, dove per trovare le radici della funzione si considera un processo iterativo in cui al passo k si ha: Identificazione e Fusione Sensoriale Appunti di DM Pagina 5