4. Parameterschätzung / Prediction Error Method (PEM) Bestimmung von Modellparametern aus Messdaten

Transcript

1 Systemidentikation und Regelung in der Medizin 1 4. Parameterschätzung / Prediction Error Method (PEM) Bestimmung von Modellparametern aus Messdaten Least Squares nur anwendbar für lineare statische Abbildungen und einige dynamische Systeme (ARX) (Systemausgang ist linear abhängig von den Parametern) Für nichlineare Modelle: iterative Optimierungsverfahren wiederholte Anwendung des gesamten Datensatzes zur Parameterschätzung Batch-Adapdation

2 Systemidentikation und Regelung in der Medizin 2 Gütefunktional: J(θ) = K k=1 1 (y(k) ŷ(k, θ))2 2 Anfangswert: ˆθ(0) In jedem Schritt: Richtung u(l) Schrittweite η(l) ˆθ(l + 1) = ˆθ(l) + η(l)u(l) Wichtig: In J ŷ(k) ist immer eine Funktion der aktuellen Parameterschätzung ŷ(k, ˆθ(l)) Ziel: u(l), η(l) so wählen, dass ˆθ(l) = arg min θ J(θ), l lokale Verfahren: suche nach lokalen Minimum

3 Systemidentikation und Regelung in der Medizin Verfahren 1. Ordnung J J Gradient θ θ negativer Gradient θ θ θ : fester Parametervektor Taylorentwicklung von J(θ) bis zur 1. Ordnung: J(θ) J( θ) + P p=1 [ J θ p ] θ= θ θ p, θ = θ θ

4 Systemidentikation und Regelung in der Medizin 4 mit J(θ) = K k=1 1 (y(k) ŷ(k, θ))2 2 [ J θ p ] θ= θ = K [y(k) ŷ(k, θ)] ŷ(k) θ p θ= θ k=1 θ = ˆθ(l) ˆθ(l + 1) = ˆθ(l) η [ J θ ] θ=ˆθ(l)

5 Systemidentikation und Regelung in der Medizin 5 θ 2 Hoehenlinien von J ˆθ 1 (1), ˆθ 2 (1) Minimum ˆθ 1 (0), ˆθ 2 (0) θ 1 Stellt das Gütefunktional ein langgestrecktes Tal dar, so kann es bei einem Optimierungsverfahren 1. Ordnung zu Oszillationen kommen, der denen die Lösung immer von einer Seite des Tales zur anderen Seite des Tales springt.

6 Systemidentikation und Regelung in der Medizin 6 Verfahren 1. Ordnung - Eigenschaften: Verfahren 1. Ordnung (wie steilster Abstieg) sind einfach zu realisieren schlechte (langsame) Konvergenz Siehe Beispiel: langes Tal Oszillationen kleine Schrittweite damit man das Tal nicht verlässt Richtung immer orthogonal zu den Höhenlinien

7 Systemidentikation und Regelung in der Medizin Verfahren 2. Ordnung Ausnutzung der lokalen Krümmung der Gütefunktionals (Fläche) Beispiel langes Tal: Krümmung am gröÿten orthogonal zum Tal Krümmung am kleinsten entlang des Tals optimale Suchrichtung Annahme: lokales Aussehen des Gütefunktionals entspricht einer quadratischen Funktion der Parameter

8 Systemidentikation und Regelung in der Medizin 8 Taylorreihenentwicklung J(θ) = J( θ) + P p=1 J θ p θ= θ θ p + P p=1,p =1 2 J θ p θ p θ= θ θ p θp + J( θ) b T θ θ T H T θ mit b = J (negativer Gradient) θ θ= θ H - Hession Matrix (Hessische Matrix): 2 J θ p θ p = h p,p θ= θ

9 Systemidentikation und Regelung in der Medizin 9 Nullsetzen der Ableitung von J: J θ = bt + θ T H T = 0 θ = H 1 b Wahre Funktion ist nicht quadratisch; daher verwendet man H 1 b als Richtung (meistens mit Schrittweite versehen) und macht dann iterativ weiter.

10 Systemidentikation und Regelung in der Medizin Newton Verfahren ˆθ(l + 1) = ˆθ(l) + ηh 1 (ˆθ(l))b(ˆθ(l)) η: Lernrate erfolgreicher Schritt: J(ˆθ(l + 1)) < J(ˆθ(l)) η vergrössern ( Faktor 10) nicht erfolgreicher Schritt: J(ˆθ(l + 1)) > J(ˆθ(l)) η letzten Schritt verwerfen und η verkleinern ( Faktor 10) Problem: Berechnen von H 1 (ˆθ(l))

11 Systemidentikation und Regelung in der Medizin Approximative Verfahren K - Anzahl der Messungen, P - Anzahl der Parameter, r k Prädiktionsfehler (Residual) für Abtastzeitpunkt k r k (ˆθ(l)) = ŷ(k, ˆθ(l)) [ ] T y(k), R(ˆθ(l)) = r 1 (ˆθ(l)) r K (ˆθ(l)) Gütefunktional J(ˆθ(l)) = 1 2 R(ˆθ(l)) T R(ˆθ(l)) J(ˆθ(l)) ˆθ(l) = K k=1 r k (ˆθ(l)) r k(ˆθ(l)) ˆθ(l) = G(ˆθ(l)) T R(ˆθ(l)) G(ˆθ(l)) R K P : Jakobimatrix im Iterationsschritt l g k,p = r k(ˆθ(l)) ŷ(k, ˆθ(l)) ŷ(k, ˆθ(l)) ˆθ p (l) = ŷ(k, ˆθ(l)) ˆθ p (l)

12 Systemidentikation und Regelung in der Medizin 12 G(ˆθ(l)) = ŷ 1 (ˆθ(l)) ˆθ 1 (l). ŷ K (ˆθ(l)) ˆθ 1 (l) ŷ 1 (ˆθ(l)) ˆθ P (l).... ŷ K (ˆθ(l)) ˆθ P (l) 2 J((ˆθ(l))) (ˆθ(l)) 2 = K r k(ˆθ(l)) ˆθ(l) k=1 [ ] T r k (ˆθ(l)) + r k (ˆθ(l)) 2 r k (ˆθ(l)) ˆθ(l) (ˆθ(l)) 2 = G(ˆθ(l)) T G(ˆθ(l)) + S(ˆθ(l)) = H(ˆθ(l)) G(ˆθ(l)) T G(ˆθ(l)): leicht zu bestimmen, da nur erste Ableitungen vorkommen S( ˆθ(l)): schwer zu berechnen, da zweite Ableitungen vorkommen

13 Systemidentikation und Regelung in der Medizin Gauÿ-Newton-Verfahren ˆθ(l + 1) = ˆθ(l) η [ ] 1 G(ˆθ(l)) T G(ˆθ(l)) G(ˆθ(l)) T R(ˆθ(l)) }{{}}{{} Ĥ 1 (ˆθ(l)) b(ˆθ(l)) η : Schrittweite anpassen

14 Systemidentikation und Regelung in der Medizin Levenberg-Marquardt-Verfahren ˆθ(l + 1) = ˆθ(l) [ ] 1 G(ˆθ(l)) T G(ˆθ(l)) + µi G(ˆθ(l)) T R(ˆθ(l)) }{{}}{{} Ĥ 1 (ˆθ(l)) b(ˆθ(l)) µ(l) erhöhen für schlechten Schritt: µ(l + 1) = µ(l)γ, γ > 1 und Verwerfen des letzten Schritts! µ(l) erniedrigen für erfolgreichen Schritt: µ(l + 1) = µ(l)/γ, γ > 1 µ(l) sehr groÿ: ˆθ(l + 1) ˆθ(l) 1 µ G(ˆθ(l)) T R(ˆθ(l)) (steilster Abstieg) Verfahren erster Ordnung µ(l) sehr klein: ˆθ(l + 1) ˆθ(l) [ G(ˆθ(l)) T G(ˆθ(l))] 1 G(ˆθ(l)) T R(ˆθ(l)) Gauÿ-Newton-Verfahren

15 Systemidentikation und Regelung in der Medizin Gradientenberechnung für die PEM J(ˆθ(l)) = 1 2 K k=1 ( y(k) ŷ(k, ˆθ(l)) ) 2 J(ˆθ(l)) ˆθ p (l) = ( K [y(k) ŷ(k, k=1 ) ŷ(k, ˆθ(l))) ˆθ(l))] ˆθ p (l) Gesucht: ŷ(k, ˆθ(l)) ˆθ für lineare dynamische Systeme (OE,ARMAX,BJ) p (l)

16 Parametervektor: θ = Prädiktor: Systemidentikation und Regelung in der Medizin Gradientenberechnung für ein OE-Modell [ a 1 a 2 a na b 0 b 1 b 2 b nb ] T (1) ŷ(k k 1) = ˆB(q 1, l)u(k d) Â1(q 1, l)ŷ(k 1) Berechnung der Gradienten: ŷ(k k 1) â n (l) = (ˆB(q 1, l)u(k d)) â n (l) }{{} 0 Â1(q 1, l)ŷ(k 1) â n (l) ŷ(k) = â n (l) = â 1(l)ŷ(k 1) â n(l)ŷ(k n) â n (l) â n (l) [ ] ŷ(k n) = ŷ(k n) + â n (l) â n (l) â n A (l)ŷ(k n A ) â n (l)

17 Systemidentikation und Regelung in der Medizin 17 na ŷ(k) â n (l) = ŷ(k n) m=1 ŷ(k m) â m (l) â n (l) ŷ(k k 1) ˆb n (l) = (ˆB(q 1, l)u(k d)) ˆb n (l) }{{} (Â1(q 1, l)y(k 1)) ˆb n (l) }{{} = u(k d n) = n A m=1 ŷ(k m) â m (l) ˆb n (l) ŷ(k) ˆb n (l) = u(k d n) n A m=1 â m (l) ŷ(k m) ˆb n (l)

18 Systemidentikation und Regelung in der Medizin 18 Rekursiver Algorithmus: ŷ(k) â n (l) Ψa n(k), ŷ(k) ˆb n (l) Ψb n(k) Ψ b n(k) = u(k d n) Ψ a n(k) = ŷ(k n) n A m=1 n A m=1 a m Ψ b n(k m), a m Ψ a n(k m), k = 1 K k = 1 K

19 Systemidentikation und Regelung in der Medizin Gradientenberechnung für ein ARMAX-Modell

20 Systemidentikation und Regelung in der Medizin Rekursive Prädiktionsfehlermethode (recursive PEM)