Appunti di Identificazione dei Modelli e Analisi dei Dati

Transcript

1 Appunti di Identificazione dei Modelli e Analisi dei Dati Massimo Mangoni <m4ng0@lilik.it> dalle lezioni del prof. Zappa AA

2 Copyright c 2002 Massimo Mangoni. È garantito il permesso di copiare, distribuire e/o modificare questo documento seguendo i termini della Licenza per Documentazione Libera GNU, Versione. o ogni versione successiva pubblicata dalla Free Software Foundation; senza Sezioni Non Modificabili, senza Testi Copertina, e senza i Testi di Retro Copertina. Una copia della licenza è acclusa nella sezione intitolata GNU Free Documentation License. Permission is granted to copy, distribute and/or modify this document under the terms of the GNU Free Documentation License, Version. or any later version published by the Free Software Foundation; with no Invariant Sections, with no Front-Cover Texts, and with no Back-Cover Texts. A copy of the license is included in the section entitled GNU Free Documentation License.

3 Sistemi dinamici e processi stocastici. Supponiamo di voler descrivere (20.02) un fenomeno non deterministico, del tipo rappresentato in figura, dove sono mostrate solo alcune delle infinite potenziali realizzazioni dell esperimento (chiamate anche traiettorie). Al tempo t possiamo avere valori diversi per ogni realizzazione: a questo istante si ha così una distribuzione di valori assunti. Questi valori assunti all istante t sono realizzazioni di una variabile aleatoria. Se le uscite che tratto sono continue, assegnare una probabilità all uscita significa essere in grado, dato un qualunque intervallo I su x, di definire la probabilità che l osservazione ricada in quell intervallo (x(t) I). Si introduce la funzione di densità di probabilità: { f(x; t) 0 f(x; t) : f(x; t)dx = P{x(t) I} = I f(x; t)dx Quindi f(x, t) è una famiglia di densità di probabilità (una per ogni t). Ci si può domandare se ciò che accade ad un certo istante sia o meno indipendente da quello che accade negli istanti vicini, cioè se le variabili aleatorie sono o no indipendenti. Per descrivere il modo in cui le variabili sono legate tra loro prendiamo due istanti fissati (t e t 2 ): adesso possiamo definire la probabilità che l osservazione cada in un area I (prodotto di intervalli) definita, ovvero la densità di probabilità congiunta P{ ( x(t ), x(t 2 ) ) I} = f(x, x 2 )dx dx 2 I x valori della v.a. X in t In teoria non basta neanche questa caratterizzazione per avere una descrit t n o real.. 2 o real. o real. Figura : fenomeno stocastico. zione completa del processo, anche se in pratica ci si ferma qui. Vale infatti il teorema. Teorema (di Kolmogorov) Se n intero conosco le densità di probabilità n variate f(x, x 2,..., x n ; t, t 2,..., t n ) allora il processo stocastico è completamente caratterizzato. 2

4 Noi ci limiteremo a considerare densità di probabilità bivariate, cioè facciamo un analisi del secondo ordine: )f(x, t) 2)f(x, x 2 ; t, t 2 ) Il nostro processo di semplificazione continua se vale la proprietà di stazionarietà (invarianza temporale): f(x, x 2 ; t, t 2 ) = f(x, x 2 ; t + τ, t 2 + τ), τ In particolare, per τ = t : f(x, x 2 ; t, t 2 ) = f(x, x 2 ; 0, t 2 t ) ovvero la densità di probabilità dipende solo dalla differenza degli istanti temporali. Il problema di trovare dalle osservazioni la densità di probabilità di un processo stocastico non si può risolvere: ci si accontenta così di alcune informazioni più grossolane. Il valore medio (o media) della funzione densità di probabilità f(x) è un parametro di localizzazione, che ci dice intorno a quale valore è concentrata la f: m = xf(x)dx Se f (x) = f 2 (x + l) allora m + l = m 2. Il secondo parametro importante è un parametro di dispersione, la varianza: σ 2 = (x m) 2 f(x)dx Per le funzioni bivariate f(x, x 2 ) si ha che f(x ) = f(x, x 2 )dx 2 e quindi: m = x f(x )dx = x f(x, x 2 )dx dx 2 m 2 = x 2 f(x, x 2 )dx dx 2 σ 2 = (x m ) 2 f(x, x 2 )dx dx 2 σ2 2 = (x 2 m 2 ) 2 f(x, x 2 )dx dx 2 Un parametro importante che ci dà un idea del comportamento a istanti diversi è il valore medio di (x m )(x 2 m 2 ): (x m )(x 2 m 2 )f(x, x 2 )dx dx 2 Se questo parametro è un numero positivo grande allora uno scarto positivo (negativo) all istante t determina uno scarto positivo (negativo) rispetto alla 3

5 media all istante t 2 ; se è un numero negativo grande vale il contrario. Di solito si procede ad una normalizzazione: ϱ,2 = (x m )(x 2 m 2 )f(x, x 2 )dx dx 2, ϱ,2 σ 2 σ2 2 dove il numero ϱ,2 prende il nome di coefficiente di correlazione. Se ϱ,2 = 0 non c è correlazione fra gli scarti di x e x 2 dalle loro medie. Poiché ci capiterà di usarlo spesso conviene definire la notazione dell operatore di media E[ ], per cui: m = E[X ] m 2 = E[X 2 ] σ 2 = E [ (X m ) 2] [ σ2 2 (X2 m 2 ) 2] ϱ,2 = E [(X m )(X 2 m 2 )] σ 2 σ 2 2 = E [(X m )(X 2 m 2 )] E [(X m ) 2 ] E [(X 2 m 2 ) 2 ] Se il processo stocastico non è stazionario ha senso definire la funzione di media e la funzione di varianza: m(t) = E[X(t)] σ 2 (t) = E [ (X(t) m(t)) 2] Infatti se il processo X(t) è stazionario, allora m(t) = m e σ 2 (t) = σ 2 t. La funzione di covarianza, detta anche di autocorrelazione, è definita da: R(t, t 2 ) = E [(X(t ) m(t )) (X(t 2 ) m(t 2 ))] La funzione di covarianza si semplifica se il processo X(t) è stazionario, infatti vale: R(t, t 2 ) = R(t + t, t 2 + t), t In particolare, per t = t si ha: R(t, t 2 ) = R(0, t 2 t ) = R(τ) e quindi la R diventa funzione di un solo parametro τ. Il valore R(0) è la varianza del processo, R(τ) è in generale la covarianza con ritardo τ. Inoltre vale: R(τ) R(0) = ϱ(τ) dove ϱ(τ) è il coefficiente di correlazione riferito al ritardo τ, ϱ(τ). Non tutte le funzioni possono essere candidate ad essere funzioni di co- (22.02) varianza, infatti le proprietà che una funzione di covarianza deve rispettare sono : simmetria: R(τ) = R( τ) le proprietà sono riportate nel caso di un processo stazionario. 4

6 positività: R(0) R(τ) Come conseguenza della seconda proprietà si ha che la funzione covarianza è contenuta fra due rette costanti di valore R(0) e R(0). Quindi se passiamo da un valore della deviazione standard σ ad uno pari a 2σ, cioè si passa da un valore della varianza σ 2 al valore 4σ 2, le traiettorie si dilatano di un fattore 2, cioè si distaccano del doppio dal valore medio. Processo esponenzialmente correlato. Un importante processo stazionario, detto esponenzialmente correlato, è definito, una volta fissata una costante di tempo θ > 0 dalla (): R(τ) = R 0 e τ /θ () dove la costante di tempo ci dice quanto velocemente va a zero la covarianza (fig. 2). R 0 = θ = θ θ = 0.2 θ = θ = 5 θ τ Figura 2: funzione covarianza per un processo esponenzialmente correlato. Se campioniamo le traiettorie di un processo tempo continuo esponenzialmente correlato con un passo di campionamento costante T c si ottiene un processo tempo discreto X(k): X(k) = X(t = kt c ) Allora anche la funzione covarianza verrà campionata con lo stesso passo e si avrà: R(l) = R(τ = lt c ) = R 0 e l Tc/θ = R 0 a l, l = 0, ±, ±2,... dove a = e Tc/θ, 0 < a <, ha il ruolo di coefficiente di correlazione. In realtà si possono avere anche processi stazionari con < a < 0, ma solo da fenomeni intrinsecamente tempo discreti, non potendo ottenere a < 0 dal campionamento di un fenomeno tempo continuo. 5

7 Un caso limite è quello per a = 0: si ha massima irregolarità, essendo { R0, l = 0 R(l) = 0, l 0 cioè si ha un processo stazionario tempo discreto in cui le traiettorie sono tra loro scorrelate, che si può pensare come ottenuto da un processo esponenzialmente correlato campionato con T c θ, per cui R(l) = R 0 δ(l) (2) Questo processo generatore di massima incertezza è chiamato rumore bianco. Quindi variando a cambia la velocità di variazione delle oscillazioni e si nota che il numero dei cambi di segno aumenta al diminuire di a. Se a è negativo aumenta la probabilità che si abbia un cambio di segno (a rappresenta il coefficiente di correlazione fra due istanti successivi). Spettro. Sia X(k) un processo stocastico stazionario tempo discreto ottenuto campionando un processo tempo continuo. La sua funzione di covarianza è definita dai campioni R(l) = R(τ = lt c ), (l = 0, ±, ±2,...). Si definisce spettro del processo X(k) la seguente trasformata zeta bilaterale: Φ(z) = + l= Le proprietà formali più importanti dello spettro sono: R(l)z l, z C (3) Φ(z) = Φ(z ) (4) Φ(z = e jω ) 0 (5) Calcolando lo spettro lungo la circonferenza sul piano complesso di raggio si ottiene la densità spettrale di potenza: φ(ω r ) = Φ(z = e jωr ) (6) ove ω r è la pulsazione normalizzata, ω r = ωt c, definita in [ π, π], utile perché permette di astrarre dall entità del passo di campionamento. La densità spettrale di potenza gode delle seguenti proprietà: φ(ω) = φ( ω), simmetria che deriva dalla (4). φ(ω) 0, positività dovuta alla (5). φ(ω) = φ(ω + (2kπ)/T c ), periodicità che deriva dalla definizione. Vediamo adesso come utilizzare i concetti precedentemente introdotti. (25.02) 6

8 Esempio: calcoliamo lo spettro di un processo stocastico esponenzialmente correlato, per cui R(l) = R 0 a l, dove a = e Tc/θ (0, ). Applicando direttamente la definizione di spettro: + ( + ) 0 Φ(z) = R 0 a l z l = R 0 a l z l + a l z l l= l=0 l= Sotto le ipotesi az < e az <, cioè a < z < / a le due serie convergono: ( Φ(z) = R 0 az + ) az = R 0 ( a 2 ) ( az)( az ) Lo spettro di un processo esponenzialmente correlato è dunque una funzione razionale con una costante al numeratore, che converge in una corona circolare che contiene sempre la circonferenza di raggio. Notiamo che i coefficienti dei termini in z e in z devono essere uguali, poiché vale la (4). Calcoliamo adesso la densità spettrale di potenza: (7) φ(ω) = Φ(z = e jω ) = R 0 ( a 2 ) + a 2 a(e jω + e jω ) = R 0 ( a 2 ) + a 2 2a cos ω (8) φ(ω) a=0 a=0.6 a=0.5 a= π/2 π Si può notare che sono rispettate le proprietà di non negatività e di simmetria (funzione pari). Adesso ci domandiamo come varia φ(ω) al variare di a. Precedentemente avevamo notato che al tendere di a a zero le traiettorie divenω Figura 3: densità spettrale di potenza per un processo esponenzialmente correlato. tavano sempre più irregolari. Dalla (8) segue che φ(0) = R 0 ( + a)/( a) e φ(π) = R 0 ( a)/( + a): quindi quanto più a si avvicina ad, tanto più la curva cresce per ω = 0 e si avvicina a 0 per ω = π. Se a = 0 la φ non dipende dalla pulsazione; per a > 0 le traiettorie oscillano poco, per a < 0 la curva è speculare e le traiettorie oscillano molto (fig. 3). Supponiamo adesso di osservare un processo stazionario X con media nulla (E[X] = 0), e di campionarne una traiettoria con passo di campionamento unitario (T c = ). Vogliamo stimare la funzione di covarianza avendo riferimenti al

9 a disposizione soltanto un numero finito di campioni: x, x 2,..., x N. Poiché R(l) = E[X(k)X(k + l)] verrebbe naturale stimare la correlazione attraverso la formula: N l x k x k+l, l > 0 (9) N l k= Tuttavia riveste un ruolo più importante l espressione (0): R N (l) = N l x k x k+l (0) N che prende il nome di correlogramma, e fornisce stime simili a quelle dell espressione (9) per l piccolo. Volendo una stima della densità spettrale di potenza utilizziamo la seguente equazione, che deriva dalla (3) e la (6) φ(ω) = + l= k= R(l)e jωl dove sostituiamo alla correlazione la nostra stima (correlogramma): φ N (ω) = + l= R N (l)e jωl = N l= N+ R N (l)e jωl () avendo posto uguale a 0 tutti i termini che non conosciamo. Un altro modo è quello di prendere le nostre osservazioni x k e applicarci la trasformata discreta di Fourier (D.F.T.): Se prendiamo i valori X N (ω) = N ω r = 2π N r, N k= x k e jωk r =, 2,..., N allora {X N (ω r )} rappresenta la trasformata discreta di Fourier e contiene tutte le informazioni per ricostruire le N osservazioni di partenza, grazie alla formula inversa: x k = N X N (ω r )e jωrk N r= Il modulo al quadrato di X N (ω), X N (ω) 2 è chiamato periodogramma. Una importante proprietà è che trasformando secondo Fourier il correlogramma si ottiene il periodogramma: N l= N+ R N (l)e jωl = X N (ω) 2 8

10 Quindi per passare dai dati al periodogramma abbiamo due strade: o si calcola il correlogramma e si applica la D.F.T., o si applica subito la D.F.T. sui dati e si fa il modulo quadro. Esempio: Consideriamo un processo sinusoidale con fase aleatoria X(k) = A sin(2πft c k +Φ), dove la v.a. Φ ha una densità di probabilità uniforme in [0, 2π]: f(ϕ) = /(2π), ϕ. La media è: La funzione covarianza è: E[X(k)] = A 2π R(k, l) = E[X(k)X(l)] = A2 2π dopo alcuni calcoli si ottiene: 2π 0 2π 0 sin(2πft c k + ϕ)dϕ = 0 sin(2πft c k + ϕ) sin(2πft c l + ϕ)dϕ R(k, l) = A2 2 cos (2πfT c(k l)) = R(k l) e quindi il processo è stazionario. Una volta fissata la fase trovo tutta la sinusoide, con un osservazione ad un certo istante si ha la predizione di tutti i valori futuri. Possiamo adesso trovare lo spettro: Φ(z) = A2 2 + l= cos(2πft c l)z l = A2 2 + l= e j2πftcl + e j2πftcl Questa espressione può eventualmente convergere soltanto sulla circonferenza unitaria; pongo quindi z = e jω e calcolo la densità spettrale di potenza: φ(ω) = A2 4 + l= [e j(2πftc ω)l + e j(2πftc+ω)l] Se ω = ±2πfT c allora la serie diverge, mentre si può dimostrare che negli altri casi la serie dà 0: si ottiene così una combinazione di δ di Diràc φ(ω) = A2 4 [δ(ω 2πfT c) + δ(ω + 2πfT c )] per cui la densità spettrale di potenza di questo processo è nulla fuorché alla pulsazione della sinusoide (e alla sua simmetrica). Adesso estenderemo la definizione (3) al caso tempo continuo: (27.02) Φ(s) = + R(τ)e τs dτ, 2 τ R, s C Anche lo spettro tempo continuo gode della proprietà della simmetria Φ(s) = Φ( s) La densità spettrale di potenza è adesso definita come: φ(ω) = Φ(s = jω) = Φ (s = jω) 0 e anche per questa vale la simmetria (φ(ω) = φ( ω)), anche se non è periodica. Per trovare una relazione tra la funzione periodica φ c (ω) e quella non periodica φ(ω) facciamo uso del teorema 2. 9 z l

11 Teorema 2 (del campionamento) + ( φ c (ω) = φ ω + k 2π ) = T c k= + k= φ(ω + kω c ), ω c = 2π T c = 2πf c Da questa espressione capiamo che se vogliamo risalire da φ c (ω) a φ(ω) la densità spettrale continua φ(ω) deve essere nulla al di fuori della banda [ π/t c, π/t c ]: in questo caso φ c (ω) coincide con φ(ω) e non abbiamo perdita di informazione. Quindi per evitare il fenomeno dell aliasing, π/t c deve essere maggiore della banda che contiene il segnale, da cui la condizione: 2 ω c = πf c = π T c > ω B Un problema che sorge è che di solito è presente un disturbo, il quale spesso ha una componente in banda molto alta: utilizzando la regola del campionamento si ricostruisce anche il disturbo, che con il campionamento viene alzato in modulo ed appiattito. Vediamo adesso come si può ricavare la funzione di covarianza R(l) conoscendo lo spettro Φ(z). Un modo, utilizzato anche dagli algoritmi di calcolo, è quello di sfruttare la formula inversa della trasformata zeta lungo la circonferenza unitaria: R(l) = Φ(z)z l dz (2) 2πj Per esprimere l integrale in funzione della densità spettrale di potenza, operiamo la sostituzione z = e jω, da cui dz = je jω dω; pertanto R(l) = 2πj +π π Φ(e jω )e jω(l ) je jω dω = 2π In particolare la varianza ha l espressione: R(0) = 2π π π φ(ω)dω +π π φ(ω)e jωl dω Un metodo molto utile per il calcolo di integrali del tipo (2) è quello fornito dal teorema 3. Teorema 3 (dei residui) Sia F (z), z C, una funzione che ha z i, i =,..., N singolarità all interno del cammino di integrazione. Allora: F (z)dz = 2πj N Res F (z k ) Basta quindi calcolare i residui di Φ(z)z l corrispondenti alle singolarità interne alla circonferenza unitaria. Ricordiamo che se la singolarità è semplice, il residuo si calcola: k= Res F (z k ) = lim z zk (z z k )F (z) 0

12 Esempio: applichiamo il teorema (3) al caso di un processo esponenzialmente correlato. Sappiamo quanto vale lo spettro dalla (7). Volendo calcolare la R(0) abbiamo: R 0 ( a 2 ) F (z) = ( az)( az ) z = R 0( a 2 ) ( az)(z a) che ha singolarità per z = a e per z = /a. Poiché a <, soltanto z = a è interna al cerchio unitario. Da cui abbiamo la conferma: lim (z a)f (z) = R 0( a 2 ) z a ( az) = R 0 z=a Per calcolare R() (l = ) abbiamo: F (z) = R 0 ( a 2 ) ( az)( az ) = R 0( a 2 )z ( az)(z a) la cui unica singolarità appartenente al cerchio unitario è per z = a, da cui R() = Res F (a) = R 0( a 2 )z az = R 0 a z=a Si consideri un sistema lineare tempo discreto S, caratterizzato dalla funzione di trasferimento G(z) = g i z i dove g i sono i campioni della risposta all impulso. Si supponga il sistema S stabile BIBO, per cui g i < i=0 e sia l ingresso al sistema u stazionario, di media m u e funzione di covarianza R u (l) (ovvero spettro Φ u (z)). Vale allora il seguente teorema. Teorema 4 Sotto le ipotesi sopra enunciate l uscita y del sistema S è asintoticamente stazionaria, contraddistinta da questa media e questo spettro: m y = G()m u Φ y (z) = Φ u (z)g(z)g(z ) Dim. Supponiamo per semplicità m u = 0, per cui m y = 0. Abbiamo: [ ] R y (l) = E[Y (k)y (k + l)] = E g i U(k i) g j U(k + l j) = i=0 i=0 = i=0 i=0 g i g j R u (l + i j) i=0

13 Calcoliamo adesso la trasformata zeta per trovare lo spettro: + + Φ y (z) = R y (l)z l = g i g j R u (l + i j)z l = = g i z i i=0 l= j=0 g j z j + l= l= i=0 j=0 R u (l + i j)z (l+i j) = G(z )G(z)Φ u (z) dove all ultimo passaggio abbiamo operato la sostituzione m = l + i j e quindi i limiti dell ultima serie, per i e j fissati, vanno sempre tra e +. r C(z) w H(z) P (z) y v Figura 4: schema di un sistema dinamico controllato. Consideriamo adesso il sistema di fig. 4, dove v e w sono disturbi. Posso scomporre l uscita di questo sistema come y = y r +y v +y w, dove la prima è la componente deterministica dell uscita, mentre le altre due sono componenti aleatorie, caratterizzate dagli spettri di v e w. Se vogliamo calcolare lo spettro Φ yv (z), sapendo che G yv (z) = H(z)C(z)P (z) + H(z)C(z)P (z) basta poi sostituire nella formula enunciata nel teorema (4). Infine posso dire che Φ y (z) = Φ yv (z) + Φ yw (z), che è vera se e solo se i due disturbi sono scorrelati. Notiamo che la formula del teorema (4), se calcolata per z = e jω, dà: φ y (ω) = φ u (ω) G(e jω) 2 ovvero si ha una caratterizzazione del modulo. E per caratterizzare la fase? Abbiamo bisogno di un analisi incrociata fra l ingresso e l uscita. Prendiamo due processi u e y stazionari e congiuntamente stazionari 2. Sia inoltre: E[u] = E[y] = 0 2 due processi stocastici sono definiti congiuntamente stazionari se: f(x,..., x n, y,..., y n ; t,..., t n ) = f(x,..., x n, y,..., y n ; t + τ,..., t n + τ), τ 2

14 si definisce la funzione di covarianza incrociata Vale la regola: R uy (l) = E[U(k)Y (k + l)] R uy (l) = R yu ( l) dove ha molta importanza l ordine dei pedici. Facendo la trasformata zeta della covarianza incrociata si ottiene lo spettro incrociato tra u e y: Φ uy (z) = + l= R uy (l)z l Dati due processi stocastici scalari u e y, si definisce il processo stocastico vettoriale: [ ] u(k) w(k) = y(k) w è stazionario se e solo se u e y sono singolarmente stazionari e congiuntamente stazionari. Per un sistema S con funzione di trasferimento G(z) vale dunque: Φ uy (z) = Φ u (z)g(z), Φ yu (z) = Φ u (z)g(z ), Φ uy (z) = Φ yu G(z ) Adesso sia in modulo che in fase vale: G(z) = Φ uy(z) Φ u (z) ovvero la risposta in frequenza è data da G(e jω ) = φ uy(ω) φ u (ω) Ci sono casi in cui si può osservare y ma non si è in grado di osservare u: non è allora possibile fare calcoli incrociati. Allora si suppone che lo spettro dell ingresso sia costante (non dipenda da z), cioè un rumore bianco, e si fa dipendere Φ y (z) soltanto dalla G(z) e dalla G(z ). In pratica si fissa Φ u (z) = Φ u, per cui la funzione di covarianza dell ingresso risulta data dalla (2), e quindi u è un processo bianco. L uscita dipende adesso soltanto dalla G(z) e posso così parametrizzare una classe di processi stocastici attraverso una funzione di trasferimento. Abbiamo visto che riusciamo a descrivere le proprietà del secondo ordine (0.03) di un processo stocastico ipotizzando che un processo standard (il rumore bianco) passi attraverso una funzione di trasferimento. Questo modello assegna però banalmente infinite soluzioni al problema della fattorizzazione, moltiplicando e dividendo per scalari il secondo termine dell equazione di fattorizzazione (3). Φ y (z) = Φ u G(z)G(z ) (3) 3

15 Per ovviare a questo inconveniente o si possono seguire due strade: o si fissa il valore (costante) dello spettro di ingresso pari a uno (Φ u = ) e si lascia libera la G, oppure, come si preferisce, si lascia libero il valore Φ u = φ u e si impone: G(z) = g i z, g 0 = i=0 Teorema 5 Sia Φ y (z) lo spettro del processo y. Se Φ y (z) è razionale, allora esiste G(z) (razionale) e Φ u (costante) che soddisfano alla (3). Ogni soluzione è detta fattore spettrale : si vorrebbe una relazione biunivoca fra spettro e fattore spettrale, ma non è così. Esempio: prendiamo un processo stocastico esponenzialmente correlato, per il quale si sa che lo spettro è: Φ y (z) = In questo caso è immediato trovare: R 0 ( a 2 ) + a 2 az az = R 0 ( a 2 ) ( az)( az ) G (z) = az, Φ u = R 0 ( a 2 ) (4) Quindi posso pensare un processo esponenzialmente correlato come generato da un rumore bianco filtrato dalla funzione di trasferimento G (z) della (4): infatti si ha y(k) = ay(k ) + u(k) dove più a si avvicina a e più alto è il guadagno del filtro, ovvero, ragionando in termini di varianza, basta un rumore con varianza piccola per generare una varianza elevata. Cerchiamo altri fattori spettrali: se applichiamo un operatore di ritardo otteniamo G(z) = z G (z) = z az G(z)G(z ) = G (z)g (z ) Si possono quindi inserire quanti ritardi vogliamo senza cambiare la varianza dell uscita. Analogamente si possono inserire quanti operatori di anticipo vogliamo: infatti è un nuovo fattore spettrale. G(z) = zg (z) = z z2 = az z a In generale esiste un altro modo per creare fattori spettrali: occorre sostituire il polo col suo inverso e conseguentemente modificare anche Φ u. In questo caso: G(z) = a z G(z)G(z ) = 4 a 2 + a 2 az az

16 Φ u = R ( ) 0( a 2 ) = R a 2 0 a 2 Per passare da un fattore spettrale ad un altro si possono utilizzare delle funzioni di trasferimento passa tutto. Prendiamo ad esempio la funzione F (z) = β z βz β per la quale il polo è l inverso dello zero. Con un semplice calcolo si vede che F (z)f (z ) = z ovvero la funzione è passa tutto, dato che: Possiamo allora scrivere: F (e jω ) 2 = F (e jω )F (e jω ) = ω Φ y (z) = Φ u F (z)g (z) G (z )F (z ) }{{}}{{} G G Per applicare questo metodo all esempio precedente scegliamo la F di modo che cancelli il polo di G, ovvero poniamo β = /a: Da cui: F (z) = az a z a F (z)g (z) = a z a Questo nuovo fattore spettrale ha lo stesso grado del precedente, ma il polo è stato invertito: tuttavia dà lo stesso spettro di uscita. In definitiva i fattori spettrali differiscono tra loro o per fattori di anticipo o di ritardo, o per uno scambio di un polo o di uno zero con il suo inverso. Fattore spettrale canonico. Vogliamo adesso imporre delle condizioni su G(z) in modo da poter associare ad uno spettro un unica fattorizzazione. La soluzione non deve essere anticipatrice, e nemmeno la sua inversa lo deve essere; pertanto posso soltanto giocare sui poli o gli zeri attraverso le funzioni passa tutto. La particolarità di queste funzioni è che, invertendo i poli o gli zeri, li fanno attraversare il cerchio unitario. Impongo allora che tutti i poli e gli zeri siano all interno del cerchio di raggio unitario, identificando così un unica fattorizzazione. Questa è una condizione di stabilità della funzione di trasferimento e della sua inversa. Teorema 6 Esiste un unica fattorizzazione spettrale tale che G sia causale, stabile (asintoticamente) e la cui inversa sia anch essa causale e stabile ( zeri della G nel cerchio unitario). Tale G si dice fattore spettrale canonico. 5

17 Esempio: si trovi lo spettro e la densità spettrale di potenza di y sapendo che v è un rumore bianco e x è un rumore esponenzialmente correlato (fig. 5). Si può subito fare una semplificazione attraverso una modellizzazione matematica: il rumore x esponenzialmente correlato lo si può pensare come prodotto da un rumore bianco w filtrato da una funzione di trasferimento /( az ). Risulta adesso immediato il calcolo dello spettro: Φ x (z) = σ 2 w ( az)( az ) Φ v = σ 2 v Lo spettro di y sarà dato dalla somma dei due spettri componenti: Φ y (z) = Φ v + Φ x (z) = σ2 v( az)( az ) + σ 2 w ( az)( az ) Il segnale risultante avrà una densità spettrale di potenza più alta di prima alle alte frequenze, quindi il segnale sarà più irregolare (fig. 6). Dal momento che non si possono studiare separatamente le proprietà di v e x, avendo a disposizione l osservazione di y, posso pensare l uscita y come prodotta (tramite fattorizzazione spettrale) direttamente da un unico filtro G (z) con in ingresso rumore bianco, che ha spettro costante Φ u: G (z) = bz az dove un incognita è b, mentre l altra è Φ u. Applicando l equazione 3 si ottiene: σ 2 v( az)( az ) + σ 2 w = Φ u( bz)( bz ) da cui si ricavano due relazioni, una uguagliando i termini di grado 0 e l altra quelli di grado (il grado dà per simmetria la stessa relazione del grado ): σ 2 v( + a 2 ) + σ 2 w = Φ u( + b 2 ) aσ 2 v = bφ u Ricavando Φ u dalla seconda equazione e sostituendolo nella prima si ottiene un equazione di secondo grado in b che ammette due soluzioni reali di cui solo una ha valore assoluto minore di ed è quindi canonica (come previsto dal teorema 6). Notiamo che se il segnale x fosse ottenuto da w da una funzione di trasferimento generica B(z )/A(z ), lo spettro di y avrebbe adesso la forma: Φ y (z) = σ2 va(z)a(z ) + σ 2 wb(z)b(z ) A(z)A(z ) v(k) w(k) az x(k) y(k) Figura 5: esempio di composizione di rumori. 6

18 φ x (ω) φ y (ω) φ v π 0 π π 0 π Figura 6: grafici delle densità spettrali di potenza. A questo punto G (z) = C(z )/A(z ), dove il grado di C è il massimo fra il grado di A e quello di B, e l equazione: C(z)C(z )Φ u = σ 2 va(z)a(z ) + σ 2 wb(z)b(z ) darebbe luogo (supponendo il grado di C pari a n) a n + equazioni in n + incognite! Questo problema di fattorizzazione non è quindi risolubile a mano per n > 2. Tuttavia rimane valido l enunciato del teorema 6, per cui esiste una e una sola soluzione canonica. Il fattore spettrale canonico serve anche per parametrizzare i processi. Supponiamo infatti di produrre un segnale facendo filtrare un rumore bianco da una funzione di trasferimento: G(z) = + a z + a 2 z 2 Facciamo poi crescere in modulo i poli di questo processo (fig. 7, che come vedremo è un AR(2)): quando si arriva nei pressi del cerchio unitario le traiettorie assomigliano sempre di più a delle sinusoidi. Lo spettro di questo processo è: φ(ω) = G(e jω ) 2 ed avrà una risonanza molto marcata in corrispondenza di alcune pulsazioni: dalla pulsazione di queste oscillazioni si può trovare la localizzazione dei poli (complessi coniugati). Processi AR, MA, ARMA, ARIMA Le sigle AR, MA e ARMA indi- (04.03) cano classi di processi stazionari, con spettro razionale. Ricordiamo che noi pensiamo il nostro processo stazionario y come generato da un rumore bianco u filtrato attraverso una funzione di trasferimento G(z). Dobbiamo quindi definire la forma della funzione di trasferimento corrispondente a ciascun modello. In generale: G(z) = C(z ) A(z ) = + c z + + c m z m + a z + + a n z n 7

19 φ(ω) λ π 4 e jω λ π 4 π 4 ω Figura 7: processo autoregressivo di ordine 2. AR Con questa sigla si indicano i processi stazionari autoregressivi, per i quali la funzione di trasferimento ha soltanto poli e non zeri: G(z) = A(z ) Con AR(n) si intende un processo autoregressivo di ordine n: A(z )y(k) = u(k) y(k) + a y(k ) + + a n y(k n) = u(k) Si vede che è quindi possibile esprimere l osservazione all istante k come combinazione lineare delle osservazioni passate (regressione) e di un termine forzante che fa da perturbazione (u(k)), il cui ruolo è essenziale, altrimenti si avrebbe un processo deterministico. Infatti se u(k) = 0, per ipotesi di stabilità, si ha che la y(k) è combinazione lineare di modi stabili e quindi il segnale andrà a zero. La presenza del rumore bianco invece fa sì che le traiettorie siano persistenti e non vadano a zero. I coefficienti dell A.R. dovranno rispettare alcune regole affinché la f.d.t. risulti stabile. MA La sigla MA sta per Moving Average, ovvero media mobile. In questo caso la funzione di trasferimento ha solo zeri e non poli: Adesso vale: G(z) = C(z ) y(k) = u(k) + c u(k ) + + c m u(k m) se il processo è MA(m), ovvero è a media mobile di ordine m. L osservazione all istante k è combinazione lineare dell ingresso presente e di quelli passati, in una certa finestra (mobile). Non ci sono vincoli sui coefficienti c i, poiché y è comunque stabile. Tuttavia dal punto di vista dell elaborazione dei segnali può essere utile ricavare u da y: ciò si può fare attraverso un filtro inverso che può essere applicato soltanto sotto condizioni di stabilità. 8

20 ARMA Un processo ARMA(n, m) è autoregressivo a media mobile, descritto dalla funzione di trasferimento: G(z) = C(z ) A(z ) che quindi ha sia zeri che poli. A questo punto ci si può chiedere che differenza ci sia tra i modelli AR e MA. In realtà sono entrambe approssimazioni della vera G(z) che non conosciamo con precisione. Generalmente aumentando il grado del modello l approssimazione migliora. Da un punto di vista algoritmico invece la differenza è notevolissima e si preferiscono di gran lunga i modelli autoregressivi. Questo lo si può capire se si cerca di trovare una relazione tra i coefficienti (a i o c i ) e la funzione covarianza nei due casi. Calcolo dei coefficienti per MA e AR Caso MA: cerchiamo di trovare una relazione tra R y (l) e i coefficienti c i del modello a media mobile: [ m ] m R y (l) = E[Y (k)y (k + l)] = E c i u(k i) c j u(k + l j) = = i=0 j=0 m c i c j E[u(k i)u(k + l j)] i,j=0 dove c 0 = per definizione. Poiché u è rumore bianco, il valore atteso dei prodotti è sempre zero, tranne che nel caso in cui k i = k + l j, ovvero j = l + i. Si ottiene: R y (l) = m c i c l+i φ u = (c l + c c l+ + + c m c l+m )φ u i=0 Le incognite compaiono come prodotti, quindi il sistema non è lineare (è del secondo ordine) e la sua soluzione può essere molto complicata. Notiamo che se calcoliamo la covarianza per l = m abbiamo un solo termine in comune che non si annulla: R y (m) = E[Y (k)y (k + m)] = c m φ u Se facciamo aumentare ulteriormente l abbiamo: R y (l) = 0, per l > m Abbiamo la notevole proprietà che la funzione covarianza dei processi MA si annulla dopo un numero finito (m) di passi (memoria finita). Caso AR: per i processi autoregressivi vale la relazione: y(k) = a y(k ) + a 2 y(k 2) + + a n y(k n) = u(k) (5) 9

21 Moltiplicando la (5) per y(k), per y(k ),..., per y(k n) si ottiene: y 2 (k) + a y(k)y(k ) + + a n y(k)y(k n) = y(k)u(k) y(k)y(k ) + a y 2 (k ) + + a n y(k )y(k n) = y(k )u(k)... y(k)y(k n) + a y(k )y(k n) + + a n y 2 (k n) = y(k n)u(k) Supponiamo adesso che E[y(k)] = 0 (altrimenti dovrei sottrarre al processo la sua media) e sia la densità spettrale di potenza del rumore bianco E[u 2 (k)] = φ u. Applichiamo l operatore di media (E[ ]) ad entrambi i membri di tutte le uguaglianze precedenti, ottenendo così delle covarianze. Gli ultimi n membri a destra hanno una forma del tipo E[y(k i)u(k)] con i =,..., n. Applicando l equazione (5) all istante k i si ha: y(k i) = u(k i) a y(k i ) a n y(k i n) poiché posso esprimere y(k i ) come combinazione lineare di u(k i ) e di y che vanno indietro nel tempo, e così per tutti i termini in y, si ha che y(k i) è combinazione lineare di infiniti ingressi u passati. Poiché u è un rumore bianco, tutti i prodotti fra u(k) e u agli istanti precedenti daranno un contributo 0, essendo scorrelati. Quindi gli ultimi n secondi membri saranno 0, mentre il secondo membro della prima equazione sarà: E[y(k)u(k)] = a E[y(k )u(k)] }{{}}{{} E[u 2 (k)] = φ }{{} u 0 0 φ u Ricordandosi che la nostra funzione di covarianza è simmetrica (R(l) = R( l)) si ottiene il sistema: R(0) + a R() + a 2 R(2) + + a n R(n) = φ u R() + a R(0) + a 2 R() + + a n R(n ) = 0 R(2) + a R() + a 2 R(0) + + a n R(n 2) = 0. R(n) + a R(n ) + a 2 R(n 2) + + a n R(0) = 0 Otteniamo quindi tutte equazioni lineari; prendendo le ultime n abbiamo un sistema in n incognite di forma particolare: R(0) R() R(2) R(n ) a. R() R(0) R().. R().. a 2 R(2) R(2) R() R(0).. R(2) a 3 = R(3) (6) R().. R(n ) R(2) R() R(0) a n R(n) L uguaglianza (6), che prende il nome di equazione di Youle Walker, ci permette di trovare i coefficienti a i, dal momento che la matrice che qui 20

22 abbiamo formato è una matrice di Tœplitz 3 e quindi invertibile (se la R è una funzione di covarianza). Una volta calcolati i coefficienti, dalla prima equazione del sistema (6) si ricava φ u. La fattorizzazione è quindi più facile per modelli AR, ed esistono degli algoritmi molto efficienti per il calcolo dei coefficienti. Tuttavia se il numero dei coefficienti necessari per avere una buona approssimazione del processo diventa troppo elevato, allora si preferisce passare ad un modello ARMA. Ha senso porsi anche il problema inverso: dato un modello AR, se conosco i coefficienti come posso calcolare la covarianza? In pratica bisogna scambiare il ruolo dei termini noti con quello delle incognite. Il problema viene lasciato come esercizio. ARIMA La sigla significa auto-regressive integrated moving-average, ma dal momento che lavoriamo su processi tempo discreti, l integrazione ha qui senso di sommatoria. I processi ARIMA si ottengono a partire dai processi ARMA integrando nel tempo il segnale di uscita di quest ultimi. Il rumore bianco u, dopo essere stato filtrato da una f.d.t. G (z) = C(z )/A(z ), arriva ad un operatore di integrazione discreta (sommatoria), che ha la forma: z Questo procedimento aggiunge ai poli dell ARMA un polo in : come conseguenza viene allargato il campo dei processi stocastici che posso descrivere. Infatti il segnale in uscita non è stazionario. Consideriamo il più semplice processo ARIMA, cioè un sistema costituito dal solo integratore: y(k) = y(k ) + u(k) (7) dove u(k) è un rumore bianco a media nulla. Se il coefficiente di y(k ) fosse minore di il processo sarebbe stazionario: appena raggiunge il valore le proprietà del sistema cambiano drasticamente. Questo processo non ha spettro (trasformando non ottengo niente). Questa è un equazione ricorsiva: la forma non ricorsiva è: y(k) = k u(i) + y(0) (8) i=0 Per semplicità poniamo uguale a zero la condizione iniziale (y(0)). Vediamo che essendo u a media nulla, anche la media di y sarà zero. Quanto vale la varianza? [ k ] k E[y 2 (k)] = E u(i)u(j) i=0 j=0 3 matrice che ha gli elementi lungo le diagonali uguali fra loro. 2

23 Ricordando che rimangono solo i termini per cui i = j: E[y 2 (k)] = k E[u 2 (i)] = (k + )φ u i=0 La varianza del processo y non è costante, ma cresce con k (con il passare del tempo). Quindi queste traiettorie non si collocano entro una fascia attorno al valore medio, ma la fascia diventa un imbuto, si allarga: con il passare del tempo il fenomeno si disperde sempre di più. È lasciata come esercizio la verifica che la covarianza è: { E[y E[y(k)y(k + l)] = 2 (k)], l 0 E[y 2 (k l)], l 0 altro chiaro indice di non stazionarietà del processo. La versione tempo continua di questo processo è il processo di Wiener, detto anche random walk o moto browniano. Moto browniano tempo continuo. Estendiamo adesso il concetto di (06.03) random walk al caso tempo continuo. Per il caso tempo discreto vale la (8), da cui si ottiene, per l > k: y(l) y(k) = l i=k+ dove e è il rumore bianco tempo discreto. Come si nota dagli indici della sommatoria, il valore dell incremento y(l) y(k) è incorrelato con y(k). Quindi l evoluzione del processo nel futuro è incorrelato con il valore del processo all istante considerato. Per analogia possiamo pensare di definire il moto browniano tempo continuo imponendo che l incremento y(t + τ) y(t) sia incorrelato con il valore che il processo assume all istante t e con il valore degli incrementi agli istanti precedenti y(t) y(t σ), τ, σ. Se supponiamo di mandare τ a zero, rendendo così gli incrementi sempre più piccoli, ha senso parlare di scorrelazione? Se le traiettorie del processo sono derivabili allora non si possono avere né salti né spigoli; non si hanno quindi bruschi cambi di direzione, per questo l incremento è correlato con la pendenza della traiettoria all istante t, per piccoli valori di τ: y(t + τ) y(t) τ y t Poiché qui imponiamo la proprietà di incorrelazione τ, introduciamo un processo le cui traiettorie non sono derivabili. Il moto browniano è quindi una estrapolazione teorica che descrive bene il cammino di una particella in sospensione su un liquido, anche se ogni fenomeno fisico ha traiettorie derivabili su scale temporali sufficientemente piccole. Qui di seguito definiamo il moto browniano tempo continuo come un processo Y (t) con le seguenti proprietà: 22 e(i) t

24 Y (0) = 0 (inizialmente in un punto preciso) E[Y (t)] = 0 (in ogni istante ha media nulla) E [(Y (t + τ) Y (t))(y (t) Y (t σ))] = 0 (incorrelazione) E[Y 2 (t)] = σ 2 t (la varianza cresce con il tempo) E [(Y (t + τ) Y (t)) 2 ] = σ 2 τ le traiettorie sono: continue t non differenziabili t (in ogni punto fa uno spigolo ) a variazione non limitata (curva che su un intervallo finito ha lunghezza infinita) a dimensione frattale (tra e 2) In analogia alla (7) si può dire che per il moto browniano tempo continuo vale: d y(t) = e(t) dt dove e(t) è il rumore bianco tempo continuo (qualcosa che fa continuamente salti ). In realtà è una forzatura, visto che la derivata non c è. Si può pensare però di ottenere il moto browniano facendo passare il rumore bianco e(t) attraverso un integratore (G(s) = /s). Il rumore bianco tempo continuo non ha senso fisico, poiché per produrlo entrerebbero in gioco forze infinite: tuttavia è un astrazione utile per poter pensare alcuni segnali importanti come generati tramite filtri (come nel caso tempo discreto). Il rumore bianco ha φ e (ω) costante: tornando nel dominio del tempo (antitrasformando) si ha: E[e 2 (t)] = R e (τ = 0) = 2π + φ e (ω)dω Essendo la funzione integranda costante l integrale diverge e quindi abbiamo una varianza infinita e una potenza infinita. Possiamo cioè pensare al filtro G(s), che se è fisicamente realizzabile è passa basso, come qualcosa che prende in ingresso un processo a potenza infinita e regolarizzandolo dà in uscita un processo a potenza finita. Esempio: consideriamo un processo esponenzialmente correlato tempo continuo, definito da R(τ) = R 0 e τ /θ dove θ è la costante di tempo. Se θ diventa sempre più piccola il processo diventa sempre più scorrelato: cosa succede se la facciamo tendere a 0? Facendo la trasformata di Fourier si trova la densità spettrale di potenza: φ(ω) = θr 0 + ω 2 θ 2 23

25 per θ 0 la curva si schiaccia e si allarga sempre di più e al limite va a 0. Non diventa quindi rumore bianco. Prendiamo allora il processo: R(τ) = R 0 θ e τ /θ per il quale la varianza dipende da θ. Questo processo ha densità: φ(ω) = R 0 + ω 2 θ 2 per cui quando θ 0 tende alla costante R 0, ω (potenza infinita). La funzione di covarianza R(τ) invece, per θ 0, ha limite 0, quando τ 0 (poiché l esponenziale vince sul denominatore), mentre quando τ = 0 il limite va a +. Si ottiene così una δ di Diràc: R(τ) = R 0 δ(τ) Regioni di confidenza. Il problema della determinazione delle regioni di confidenza si può descrivere nel seguente modo: data una funzione densità di probabilità f(x), con x R n in generale, trovare una regione nello spazio R n tale che le realizzazioni del processo cui è associata f(x) cadano all interno di tale regione con una confidenza prefissata α (ad esempio 95%). Nel caso scalare (n = ), le regioni di confidenza sono sottoinsiemi della retta: la scelta della regione di confidenza non è univoca. Se la funzione f(x) fosse a supporto limitato potremmo definire delle regioni di confidenza al 00% in modo univoco, tuttavia le funzioni che trattiamo hanno delle code. Chiamando I la regione di confidenza, abbiamo: P {x I} = f(x)dx = α (9) dove α è scelto dall utente. Allargando una regione I la probabilità che il fenomeno cada in I aumenta; inoltre, a parità della lunghezza della regione, spostandola otteniamo probabilità differenti, così come, a parità di probabilità possiamo trovare intervalli diversi che soddisfino la (9) al grado di confidenza desiderato. Il problema viene allora posto in questi termini: scelto α si vuole determinare la regione I di estensione minima che soddisfi la (9). Se conosciamo esattamente la funzione f(x) il problema si risolve determinando una soglia k > 0 tale che: { Ik = {x : f(x) k} P {x I k } = I k f(x)dx = α Molto più complicato è, in generale, risolvere il problema quando non conosciamo la funzione f(x) ma soltanto media e varianza o, nel caso di n >, la matrice di varianza R = + I (x m)(x m) T f(x)dx 24

26 f(x) f(x) I = I I 2 k k I x I I 2 x Figura 8: determinazione della soglia k. Si fa allora una ipotesi di semplificazione, ovvero si suppone che la f(x) sia gaussiana. Nel caso n = (fenomeno scalare) la formula della gaussiana è: { f(x) = exp } (x m) 2 (20) 2πσ 2 2 σ 2 una curva a campana (vedi fig. 9), simmetrica rispetto alla media m e la cui forma è determinata dalla varianza σ 2. La regione di confidenza sarà allora un intervallo centrato sulla media. Una volta fissato α esistono delle tavole σ = 0.5 σ =.0 σ = Figura 9: gaussiane con media m = 0 e varianza differente. numeriche che forniscono il valore di γ tale che: +γ 2π γ exp { 2 y2 } dy = α per cui la regione di confidenza sarà l intervallo I = [m σγ, m + σγ] Se n > allora la gaussiana assume la forma: f(x) = { (2π)n det(r) exp } 2 (x m)t R (x m) (2) 25

27 dove x = x. x n, m = m. m n R R n, R =..... R n R nn Nel caso particolare di n = 2 la matrice di varianza diventa [ ] R R R = 2 R 2 R 22 che è simmetrica (R 2 = R 2 ) e definita positiva, cioè R > 0, R 22 > 0 (come è ovvio, dal momento che sono varianze) e R R 22 > R2 2 (determinante positivo). Il coefficiente di correlazione è: ϱ = R 2 R R 22, ϱ < R = [ σ 2 ϱσ σ 2 ϱσ σ 2 σ2 2 Il problema di trovare l intervallo I = {x : f(x) k} si può risolvere facendo il logaritmo naturale dei due termini della disequazione, ottenendo: I = { x : (x m) T R (x m) k } (, k = 2 ln k ) (2π) n det(r) (22) Quella che appare nella (22) è l equazione di un ellisse, non vuota quando k > 0, cioè quando k < / 2π det(r), la cui estensione dipende da α e la cui forma dipende da R e da m. Il centro dell ellisse è dato da (m, m 2 ): rimangono allora da determinare la lunghezza dei due semiassi e la direzione di uno di essi (l altro forma un angolo retto con questo). Per fare ciò occorre ricordare che R è simmetrica e definita positiva, per cui ha due autovalori λ, λ 2 reali positivi e due autovettori ortogonali t, t 2. Si può dimostrare che vale il seguente fatto. Fatto 7 Sia l i la lunghezza del semiasse i esimo, allora l i = kλ i i semiassi sono paralleli agli autovettori t i. Quindi se λ = λ 2, ovvero R = R 22, allora l ellisse è una circonferenza. Inoltre i semiassi sono paralleli agli assi cartesiani solo se R 2 = R 2 = 0, cioè quando la matrice è diagonale, per cui ϱ = 0, ovvero tra i due fenomeni non c è correlazione. Come si determina la soglia k una volta scelto il valore di α? Sia ε l ellisse (08.03) ε = { x : (x m) T R (x m) k } ] dovremmo risolvere P {x ε} = f(x)dx = α (23) ε 26

28 il calcolo dell integrale risulta in generale difficile, ma qui sappiamo che X N(m, R) ovvero che X è un processo gaussiano con densità di probabilità normale di media m e di matrice di varianza R. Si definisce la nuova variabile x = L (x m) ove la matrice L è legata a R tramite la relazione di fattorizzazione di Cholesky R = LL T (24) che qui è sempre possibile, essendo R simmetrica e definita positiva. Adesso x è una variabile aleatoria con media e varianza normalizzate: E[ x] = 0 E[ x x T ] = E[L (x m)(x m) T L T ] = L E[(x m)(x m) T ]L T = = L RL T = L} {{ L} L} T {{ L T } I I Queste relazioni valgono qualunque sia la dimensione dello spazio, per cui tutte le componenti di x hanno varianza unitaria e sono tra loro scorrelate. Utilizzando la (24), la (23) diventa: P { (x m) T L T L (x m) k } = P { x T x k } { n } = P x 2 i k = α (25) Anche X è gaussiana, poiché è ottenuta per trasformazione lineare da un processo gaussiano, e date le sue proprietà vale: { } f( x) = exp n x 2 (2π) n i (26) 2 Per questa funzione, chiamata distribuzione chi quadro con n gradi di libertà, esistono delle tabelle che riportano i valori dell area sottesa alla curva di distribuzione in funzione di n x 2 i = χ 2 n Risposta transitoria dei sistemi dinamici ad ingressi stocastici. = I 27

29 y v s x θ v ω v d Figura 0: robot a guida differenziale. Modello di robot a guida differenziale. Consideriamo il modello (fig. 0) di un robot in grado di muoversi su un piano, dotato di due ruote motrici comandate da due motori separati. Dalla cinematica otteniamo due equazioni che ci dicono quanto valgono la velocità lineare e quella angolare: { v = (v 2 d + v s ) ω = (v 2d d v s ) dove d è il diametro della piattaforma. Il modello è descritto dalle equazioni di stato: ẋ = v cos θ ẏ = v sin θ θ = ω Si fa una misura di tipo odometrico (sulla strada percorsa), per esempio mettendo dei sensori che contano le tacche delle ruote che passano. Discretizzando otteniamo il sistema: ( ) x(k) = x(k ) + v(k)t c cos θ(k ) + ω(k)t c /2 ( ) y(k) = y(k ) + v(k)t c sin θ(k ) + ω(k)t c /2 θ(k) = θ(k ) + ω(k)t c L evoluzione del sistema è pertanto descritta da: { s(k) = [x(k) y(k) θ(k)] T s(k) = f(k, s(0)) dove s(0) è la condizione iniziale ed f(k, s(0)) dipende dalla successione {v(i), ω(i)} k i=0. Dobbiamo considerare che per misurare le grandezze utilizziamo dei sensori che hanno una certa precisione e sono affetti da errori di 28

30 quantizzazione; incertezze sono dovute ad una non perfetta misura del diametro della piattaforma o del raggio delle ruote, il quale può variare in base alla pressione delle ruote stesse; ci sono infine attriti, imperfezioni del piano, possibilità di slittamento delle ruote. A causa di tutto ciò, dopo un numero elevato di passi di campionamento, questo modello può discostarsi molto dalla realtà. Il rumore di misura si considera di solito bianco, l incertezza delle misure si tiene di conto lasciando degli opportuni intervalli di confidenza (es. disturbo additivo), mentre più difficili da trattare sono i disturbi sul pavimento, in quanto sono assolutamente casuali e di notevole entità. Dobbiamo calcolare l incertezza attorno ad s (ellisse di confidenza). Consideriamo la stima odometrica nel caso tempo discreto e lineare, per cui x(k + ) = Ax(k) + Bu(k) + w(k) (27) ove w(k) = w (k). w n (k) è un disturbo additivo che agisce sullo stato con media e matrice di varianza: m w = E[w(k)] Q = E [ (w(k) m w )(w(k) m w ) T ] Si ipotizza inoltre che i disturbi a istanti diversi siano scorrelati tra loro: E [ (w(k) m w )(w(l) m w ) T ] = 0, k, l k l Il processo X è non stazionario, e la sua media evolve partendo da secondo l equazione lineare m x (0) = E[x(0)] m x (k + ) = Am x (k) + Bu(k) + m w (28) Come evolve la sua matrice di varianza P? Definiamo la variabile x(k) = x(k) m x (k), per cui, sottraendo la (28) dalla (27) abbiamo x(k + ) m x (k + ) = A(x(k) m x (k)) + Bu(k) Bu(k) + w(k) m w ovvero x(k + ) = A x(k) + w(k) cioè l evoluzione degli scarti rispetto alla media non dipende dall ingresso u. Quindi P (0) = E [ x(0) x(0) T ] P (k + ) = E [ x(k + ) x(k + ) T ] = E [ (A x(k) + w(k))( x(k) T A T + w(k) T ) ] 29

31 Analizziamo quest ultima espressione termine a termine: E [ A x(k) x(k) T A T ] = A E [ x(k) x(k) T ] A T = AP (k)a T infatti vale E [ w(k) w(k) T ] = Q E [ A x(k) w(k) T ] = E [ w(k) x(k) T A T ] = 0 x(k) = A k x(0) + A k w(0) + A k 2 w() + + w(k ) per cui, avendo ipotizzato che w sia bianco (e quindi anche w lo è) e dal momento che la condizione iniziale è scorrelata al disturbo, gli ultimi due termini danno contributo nullo. Abbiamo ottenuto l equazione ricorsiva di Lyapunov tempo discreta: P (k + ) = AP (k)a T + Q (29) Esempio: Sia n =, ovvero mettiamoci nell ipotesi di stato scalare. La condizione iniziale è p(0), mentre la varianza evolve secondo p(k + ) = a 2 p(k) + q Ci domandiamo se per k che tende all infinito p(k) converga o meno ad un valore costante, ovvero se esiste il lim k p(k) = p Se tale limite esiste, allora p = a 2 p + q, per cui p = q a 2 Se il sistema è asintoticamente stabile (a 2 < ), allora p > 0. Sia p(k) = p(k) p, allora p(k + ) = p(k + ) p = a 2 p(k) p + q = a 2 (p(k) p ) = a 2 p(k) quindi lo scostamento dal valore di regime diminuisce con il passare del tempo. Se a 2 > le traiettorie divergono e l incertezza va all infinito; nel caso limite in cui a 2 = (come quello del robot, o quando sono presenti integratori TD) l incertezza cresce linearmente con il tempo. Generalizzando l esempio precedente, dobbiamo chiederci se esiste una matrice P che risolva l equazione algebrica di Lyapunov: P = AP A T + Q Per rispondere a questa domanda dobbiamo esaminare gli autovalori di A: si hanno tre casi se λ i (A) = allora non si ha nessuna soluzione, e se tutti gli altri autovalori hanno modulo minore di allora l incertezza cresce linearmente. 30

32 se λ i (A) > allora la soluzione P esiste, ma non è una varianza, poiché non è definita positiva (non rappresenta niente). Non esiste il valore di regime ed il sistema è instabile. se λ i (A) <, i allora P esiste ed è definita positiva. P (k) tende al valore di regime P, il sistema è asintoticamente stabile. L effetto dei disturbi (Q) tende ad aumentare l incertezza, mentre la dinamica stabile, attraverso il termine AP (k)a T, tende a far diminuire l incertezza: a regime i due effetti si compensano perfettamente. Una dinamica instabile invece contribuisce anch essa all aumento dell incertezza. Più Q è piccolo, più le traiettorie si avvicinano tra loro. Ricordiamo che l equazione (29) vale solo se il disturbo w(k) è scorrelato (.03) nel tempo, ovvero è rumore bianco. I disturbi di misura sono scorrelati, ma solitamente i disturbi di processo non lo sono. In questo caso possiamo adottare la tecnica dell estensione dello stato, aggiungendo delle componenti fittizie al vettore di stato. Esempio: Sia x(k + ) = ax(k) + w(k) con w(k) esponenzialmente correlato. Si può pensare w(k) come prodotto da un rumore bianco e(k) filtrato da una funzione di trasferimento: G(z) = ϱz con ϱ coefficiente di correlazione. Il disturbo può adesso essere descritto dall equazione ricorsiva: w(k) = ϱw(k ) + e(k) Poiché adesso si deve pensare ad e(k) come l ingresso definiamo uno stato esteso: [ ] x(k) x(k) = w(k) per cui l evoluzione del sistema è definita da: [ a x(k + ) = Ax(k) + Be(k + ) = 0 ϱ ] x(k) + [ ] 0 e(k + ) La matrice di varianza è: [ P (k) = E[x(k)x(k) T ] = P (k) E[x(k)w(k)] E[x(k)w(k)] E[w 2 (k)] ] da cui: ove P (k + ) = A P (k) A T + E Q = [[ ] 0 e 2 (k) [0 ] ] = A P (k) A T + Q [ E[e 2 (k)] ] 3