Teoria della decisione e della stima Esercitazioni di laboratorio Anno accademico 009-10 M.S. Greco
Laboratorio del 30/09/09 09 Processi AR + Sx() z = Rx( m) z m= m Densità spettrale complessa La regione di convergenza di S () x z è costituita dai valori di z per cui converge la sommatoria La densità spettrale di potenza ( j f Sx e π ) si ottiene valutando Sx() z sul cerchio unitario Im{z} f=1/4 f=1/ f=-1/ f=0 Re{z}
Laboratorio del 30/09/09 09 Processi AR AR(1) R ( m) = σ ρ ρ < 1 x x m < m <+ Calcoliamo la densità spettrale complessa: + 1 m m m m m m x() = σx ρ = σx ρ + σx ρ m= m= m= 0 S z z z z σ ρz ρz m m x x ( z) = x z ( z) = m= 1 m= 0 1 σ ρ σ ρ ρ ρ z < 1 z < 1 ρ σ σ m 1 x x ( ρz ) = z > ρ 1 m= 0 1 ρz zona di convergenza 1 ρ ρ S x ( 1 ρ ) σx σxρz σx () z = + = 1 1 1 ρz 1 ρz 1 ρz 1 ρz ( )( )
Laboratorio del 30/09/09 09 Processi AR Esercizio proposto: Processo reale AR(1) con autocorrelazione R ( m) Rappresentazione di una possibile realizzazione, grafico del coefficiente di autocorrelazione e della densità spettrale di potenza al variare di ρ Uso delle istruzioni: randn, filter, plot e stem x = σ ρ x m
Laboratorio del 30/09/09 09 Processi AR Generazione di rumore Gaussiano bianco w=sigmaw*randn(1,n); Generazione sequenziale di dati correlati tramite l istruzione filter a(1)=1; a()=-ro; b(1)=1; x=filter(b,a,w); Generazione di dati correlati tramite le istruzioni toeplitz e chol M=toeplitz(r); L=(chol(M)). ; x=lw;
Laboratorio del 30/09/09 09 Processi AR Processo di Markov Realizzazione Processo passa-alto alto
Laboratorio del 30/09/09 09 Processi AR Processo di Markov Coefficiente di correlazione Processo passa-alto alto
Laboratorio del 30/09/09 09 Processi AR Processo di Markov PSD S x j π f ( e ) = σ W 1 1 ρexp ( j π f ) σw = 1 + ρ ρcos π ( f ) Processo passa-alto alto
Laboratorio del 7/10/09 Processi AR Esercizio proposto: Sia dato un processo reale AR() che soddisfa all equazione alle differenze xn ( ) = a xn ( 1) + a xn ( ) + wn ( ),1, Detti p = p i poli del sistema, calcolare la relazione tra tali poli ed i 1 coefficienti dell eq. alle differenze. Verificare tale relazione tramite l istruzione matlab poly per p1 = 0.98 e j 3π 4 continua...
Laboratorio del 7/10/09 Processi AR Rappresentare una possibile realizzazione del processo al variare del modulo e della fase dei poli, supponendo che w(n) sia rumore Gaussiano bianco con varianza unitaria. Utilizzare l istruzione filter; Calcolare l espressione della densità spettrale di potenza (DSP) del processo, verificarne l esattezza tramite le istruzione matlab poly e polyval; Fare il grafico della DSP al variare del modulo e della fase dei poli. continua...
Laboratorio del 7/10/09 Processi AR Calcolare in forma chiusa l espressione della correlazione del processo; Verificare il risultato tramite IFFT della DSP del processo; Fare il grafico della funzione di autocorrelazione al variare del modulo e della fase dei poli.
Laboratorio del 7/10/09 Processi AR Funzione di correlazione R m a R m a R m m m x( ) =,1 x( 1) +, x( ) + σδ w ( ) 0 R ( m) = c p + c p x m m 1 1 Rx(0) = σ x = c + c Rx (1) = c1p1+ cp 1 R (0) a R (1) a R () =σ a,1rx(0) + (1 a,) Rx(1) = 0 a,rx(0) + a,1rx(1) Rx() = 0 x,1 x, x w
Laboratorio del 7/10/09 Processi AR Realizzazione 15 realizzazione del processo AR() 10 Processo passa-banda ampiezza 5 0 p1 = 0.98 e j 3π 4-5 -10-15 0 10 0 30 40 50 60 70 80 90 100 # samples
Laboratorio del 7/10/09 Processi AR PSD 1400 100 processo AR() Processo passa-banda 1000 800 DSP 600 p1 = 0.98 e j 3π 4 400 00 0-0.5-0.4-0.3-0. -0.1 0 0.1 0. 0.3 0.4 0.5 normalized frequency
Laboratorio del 7/10/09 Processi AR Funzione di correlazione Processo passa-banda correlazione processo AR()- IFFT 0 0-0 -50-40 -30-0 -10 0 10 0 30 40 50 formula teorica p1 = 0.98 e j 3π 4 correlazione 0 0-0 -50-40 -30-0 -10 0 10 0 30 40 50 m
Laboratorio del 7/10/09 Processi AR 3 realizzazione del processo AR() Realizzazione p1 = 0.58 e π j 4 ampiezza 1 0-1 - -3-4 -5 0 10 0 30 40 50 60 70 80 90 100 # samples
Laboratorio del 7/10/09 Processi AR 5 processo AR() 4.5 4 PSD p1 = 0.58 e π j 4 DSP 3.5 3.5 1.5 1 0.5 0-0.5-0.4-0.3-0. -0.1 0 0.1 0. 0.3 0.4 0.5 normalized frequency
Laboratorio del 7/10/09 Processi AR processo AR()- IFFT Funzione di correlazione correlazione 1.5 1 0.5 0-50 -40-30 -0-10 0 10 0 30 40 50 p1 = 0.58 e π j 4 correlazione 1.5 1 0.5 formula teorica 0-50 -40-30 -0-10 0 10 0 30 40 50 m
Laboratorio del 14/10/09 Stima ML Esercizio proposto: Stima ML del valor medio di un processo Gaussiano a valor medio μ a varianza nota a partire da una sequenza di N campioni Calcolo dell istogramma della ddp della stima per due valori di N Uso dell istruzione: hist
Laboratorio del 14/10/09 Stima ML N=8 N=104
Laboratorio del 14/10/09 Stima ML Esercizio proposto: Stima congiunta del valor medio e della varianza di un processo Gaussiano a valor medio μ e varianza unitaria Calcolo della polarizzazione e dell RMSE al variare del numero di campioni N
Laboratorio del 14/10/09 Stima ML N 1 1 ˆ μ = xn ( ) N n= 0 RMSE dello stimatore ML del valor medio
Laboratorio del 14/10/09 Stima ML N 1 1 ˆ μ = xn ( ) N n= 0 Polarizzazione dello stimatore ML del valor medio
Laboratorio del 14/10/09 Stima ML ˆ σ ML N 1 1 = N n= 0 ( xn ( ) ˆ μ ) ML RMSE dello stimatore ML della varianza
Laboratorio del 14/10/09 Stima ML ˆ σ ML N 1 1 = N n= 0 ( xn ( ) ˆ μ ) ML Polarizzazione dello stimatore ML della varianza
Laboratorio del 1/10/09 ML vs MAP x ( n) = A + w( n) wn N σ ( ) (0, ) 1) A deterministico incognito A N σ ) (0, A) Esercizio proposto: SNR = σ A σ SNR = A σ Grafico della ddp di A, della ddp di X A e del loro prodotto. Commenti Calcolo dell MSE della stima ML e MAP di A al variare del numero di campioni N per SNR=-4 db; Calcolo dell MSE della stima ML e MAP di A al variare del rapporto segnale-rumore SNR per N=4; Grafici di confronto.
10 0 ddpa 10 0 ddpa Laboratorio del 1/10/09 ML vs MAP SNR=-4 db 10-1 ddpxca ddpxa 10-1 ddpxca ddpxa 10-10 - 10-3 10-3 10-4 10-4 10-5 -5-4 -3 - -1 0 1 3 4 5 10-5 -5-4 -3 - -1 0 1 3 4 5 N= N=4
10 0 ddpa Laboratorio del 1/10/09 ML vs MAP 10-5 ddpxca ddpxa SNR=-4 db N= 64 10-10 10-15 10-0 10-5 10-30 10-35 -5-4 -3 - -1 0 1 3 4 5
10 0 ddpa 10 0 ddpa Laboratorio del 1/10/09 ML vs MAP N=4 10-1 ddpxca ddpxa 10-1 ddpxca ddpxa 10-10 - 10-3 10-3 10-4 10-4 10-5 -5-4 -3 - -1 0 1 3 4 5 SNR=-4 db 10-5 -5-4 -3 - -1 0 1 3 4 5 SNR=10 db
Laboratorio del 1/10/09 ML vs MAP SNR=-4 db 10 0 ML MAP N 1 ˆ 1 AML = xn ( ) N n= 0 ˆ σ AMAP = xn ( ) σ N 1 A + σ AN n= 0 MSE 10-1 10-10 -3 10 0 10 1 10 10 3 N
Laboratorio del 1/10/09 ML vs MAP 10 0 ML MAP N= 4 10-1 SNR = A σ MSE SNR = σ A σ 10-10 -3-10 -8-6 -4-0 4 6 8 10 SNR (db)
Laboratorio del 1/10/09 ML vs MAP Conclusioni All aumentare di N lo stimatore MAP tende allo stimatore ML (informazioni a posteriori dominanti) All aumentare di SNR lo stimatore MAP tende allo stimatore ML (informazioni a posteriori dominanti)
Laboratorio del 8/10/09 Stima ML Esercizio proposto: Il segnale osservato è X( n) = B+ V( n) dove B è un parametro deterministico incognito e V(n) è un processo Gaussiano AR(1) con coefficiente di correlazione ad un passo ρ. Si calcoli tramite simulazione Monte Carlo la varianza dello stimatore ML di B che utilizza i soli campioni X(0) e X(1) al variare del valore di ρ da -0.95 a 0.95 a parità di rapporto segnale rumore SNR = B σ v. Per generare i campioni del processo a partire da rumore bianco si utilizzi la decomposizione di Cholensky della matrice di correlazione. Si commentino i risultati ottenuti
Laboratorio del 8/10/09 Stima ML La funzione di verosimiglianza può essere scritta come 1 L( x; B) = exp 1 π M T 1 ( x B1) M ( x B1) dove x x(0) = x(1) 1 1 = 1 ρ 1 e M = σ v ρ 1 Risolvendo l equazione ln L( x; B) B si ottiene Bˆ ML x(0) + x(1) = = 0
Laboratorio del 8/10/09 Stima ML Bˆ ML = x(0) + x(1) 10 0 Radice dell errore quadratico medio RMSE var { Bˆ ML } σ = ( + ρ ) v 1 10-1 -1-0.8-0.6-0.4-0. 0 0. 0.4 0.6 0.8 1 ro
Laboratorio del 8/10/09 Stima ML 1 0.8 Bˆ ML = x(0) + x(1) 0.6 0.4 0. Polarizzazione E{ BˆML } = B bias 0-0. -0.4-0.6-0.8-1 -1-0.8-0.6-0.4-0. 0 0. 0.4 0.6 0.8 1 ro
Laboratorio del 4/11/09 Stima ML Stima ML dei parametri di una cosinusoide immersa in rumore termico x( n) = Acos(πf 0Tc n φ) + w( n) 1 N 1 ˆ j π ftc n f0ml = arg max x( n) e f N n= 0 N 1 = x n e N ˆ ˆ π 0 ML c ( ) A ML n= 0 j f T n ˆ φ ML = arctg N 1 n= 0 N 1 n= 0 xn ( )sen( π fˆ Tn) 0ML xn ( )cos( π fˆ Tn) 0ML c c
Laboratorio del 4/11/09 Stima ML Limiti di Cramér-Rao σ CRLB( A) = N 1 CRLB( f0) = (π ) ηn( N (N 1) CRLB( φ) = ηn( N + 1) 1) dove η = A σ
Laboratorio del 4/11/09 Stima ML Esercizio proposto: implementazione della stima ML calcolo degli RMSE al variare di N confronto con i CRLB istruzioni: fft, angle, max
Laboratorio del 4/11/09 Stima ML Stima della frequenza A=10 10-10 -3 10-4 MSE CRLB σ =1 Frequency MSE 10-5 10-6 10-7 10-8 10-9 10-10 10 1 10 N
Laboratorio del 4/11/09 Stima ML Stima dell ampiezza 10 MSE CRLB A=10 10 1 σ =1 Amplitude MSE 10 0 10-1 10-10 -3 10 1 10 N
Laboratorio del 4/11/09 Stima ML Stima della fase 10 0 MSE CRLB A=10 10-1 σ =1 Phase MSE 10-10 -3 10-4 10 1 10 N
Laboratorio del 11/11 11/09 /09 Filtro di Wiener Modello del segnale e dell osservato s( n) = αs( n 1) + w( n) xn ( ) = sn ( ) + vn ( ) wn N σ w ( ) (0, = 1) vn N σ v ( ) (0, ) w(n) rumore di generazione v(n) rumore di osservazione indipendente dal s(n)
Laboratorio del 11/11 11/09 /09 Filtro di Wiener IIR causale: Si può dimostrare che β n hn ( ) = 1 β un ( ) α dove β = α + γ α + γ (1 ) (1 ) 1 1 1 se α = α + > α 0 β = α + γ + α + γ (1 ) (1 ) 1 σ 1 α γ = σ s v 1+ α 1 1 se α = α + < α s SNR = σ σ v 0
Laboratorio del 11/11 11/09 /09 Filtro di Wiener FIR a 3 prese sˆ( n) = h(0) x( n) + h(1) x( n 1) + h() x( n ) E necessario risolvere questo sistema Rh x = r xs
Laboratorio del 11/11 11/09 /09 Filtro di Wiener Esercizio proposto: implementazione del filtro di Wiener IIR causale implementazione del filtro FIR a tre prese confronto tra le risposte impulsive e in frequenza dei due filtri confronto fra le uscite dei due filtri istruzioni: filter, inv
Laboratorio del 11/11 11/09 /09 Filtro di Wiener SNR=10 db α=-0.9
Laboratorio del 11/11 11/09 /09 Filtro di Wiener SNR=10 db α=-0.9
Laboratorio del 11/11 11/09 /09 Filtro di Wiener SNR=10 db α=-0.9
Laboratorio del 11/11 11/09 /09 Filtro di Wiener SNR=10 db α=0.99
Laboratorio del 11/11 11/09 /09 Filtro di Wiener SNR=10 db α=0.99
Laboratorio del 11/11 11/09 /09 Filtro di Wiener SNR=10 db α=0.99
Laboratorio del 11/11 11/09 /09 Filtro di Wiener SNR=0 db α=0.99
Laboratorio del 11/11 11/09 /09 Filtro di Wiener SNR=0 db α=0.99
Laboratorio del 11/11 11/09 /09 Filtro di Wiener SNR=0 db α=0.99
Laboratorio del 11/11 11/09 /09 Filtro di Wiener Conclusioni: β diminuisce all aumentare di SNR Per SNR - (db) β=α, h(n)=0 e sˆ( n ) = 0 cioè pari al suo valor medio All aumentare di SNR β si allontana da α e tende a 0. La banda aumenta e il guadagno del filtro IIR aumenta. Se SNR il polo si sposta nell origine, β=0 e il filtro di Wiener diventa passa-tutto.
Laboratorio del 18/11/09 Filtro di Kalman Stima della posizione e della velocità angolare e radiale di un bersaglio radar Equazioni del moto ρ( n+ 1) = ρ( n) + T ρ( n) ρ( n+ 1) ρ( n) = T ρ( n) = u ( n) 1 ρ( n) θ ( n) ρ ( n + 1) Accelerazione radiale θ ( n+ 1) = θ( n) + T θ( n) θ ( n + 1) θ ( n+ 1) θ( n) = T θ( n) = u ( n) Accelerazione angolare
Laboratorio del 18/11/09 Filtro di Kalman Esercizio proposto: implementazione del filtro di Kalman vettoriale per la stima di posizione e velocità angolare e radiale di un bersaglio radar grafico del segnale vero, osservato e stimato al variare del tempo
Laboratorio del 18/11/09 Filtro di Kalman Stimatore: Sˆ( n) = A( n) Sˆ( n 1) + K( n)[ X( n) C( n) A( n) Sˆ( n 1)] Guadagno del filtro: T T K( n) = P1( n) C ( n) ( n) 1( n) ( n) + ( n) C P C R 1 MSE della stima al passo n: P( n) = P( n) K( n) C( n) P( n) 1 1 con: P( n) = A( n) P( n 1) A T ( n) + Q( n 1) 1
Laboratorio del 18/11/09 Filtro di Kalman Modello del segnale ρ( n+ 1) 1 T 0 0 ρ( n) 0 ρ( n+ 1) 0 1 0 0 ρ( n) u1( n) = + θ( n + 1) 0 0 1 T θ( n) 0 θ( n+ 1) 0 0 0 1 θ( n) u ( n) S( n+ 1) = AS( n) + W( n) Modello dell osservato x ( n) = ρ( n) + v ( n) 1 1 x ( n) = θ ( n) + v ( n) ρ( n) x1( n) 1 0 0 0 ρ( n) v1( n) x( n) = 0 0 1 0 + θ ( n) v( n) θ ( n) X( n) = CS( n) + V( n)
Laboratorio del 18/11/09 Filtro di Kalman 0 0 0 0 0 σ1 0 0 T Q( n) = E{ W( n) W ( n) } = 0 0 0 0 0 0 0 σ Matrice di covarianza del rumore di misura T σ 0 ρ R( n) = E{ V( n) V ( n) } = 0 σθ Matrice di covarianza del rumore di osservazione V(n) e W(n) vettori congiuntamente Gaussiani stazionari
Laboratorio del 18/11/09 Filtro di Kalman Inizializzazione del filtro 0 0 S (0) = S(1) = W (1) X(0) = V(0) 0 0 σ ρ x1 (1) σ ρ 0 0 T x1(1) x1(0) σρ σ ρ + σ1 0 0 ˆ (1) T S = P(0) = T T x (1) σθ 0 0 σθ x(1) x(0) T T σθ σθ 0 0 + σ T T
Laboratorio del 18/11/09 Filtro di Kalman Parametri di lavoro 000 1500 vera stimata osservato σ σ θ ρ 1 = = 500 m T = 1 s σ = 1 m σ = 0.1 distanza radiale (metri) 1000 500 0-500 -1000-1500 -000 0 0 40 60 80 100 10 140 160 180 00 tempo di osservazione
Laboratorio del 18/11/09 Filtro di Kalman Parametri di lavoro 500 400 300 vera stimata σ σ θ ρ 1 = = 500 m T = 1 s σ = 1 m σ = 0.1 velocità radiale (metri/s) 00 100 0-100 -00-300 -400-500 0 0 40 60 80 100 10 140 160 180 00 tempo di osservazione
Laboratorio del 18/11/09 Filtro di Kalman Parametri di lavoro 000 1500 vera stimata osservato σ σ θ ρ 1 = = 500 m T = 1 s σ = 1 m σ = 0.1 distanza angolare (gradi) 1000 500 0-500 -1000-1500 -000 0 0 40 60 80 100 10 140 160 180 00 tempo di osservazione
Laboratorio del 18/11/09 Filtro di Kalman Parametri di lavoro 0 15 vera stimata σ σ θ ρ 1 = = 500 m T = 1 s σ = 1 m σ = 0.1 velocità radiale (gradi/s) 10 5 0-5 -10-15 -0 0 0 40 60 80 100 10 140 160 180 00 tempo di osservazione
Criterio di decisione MAP Laboratorio del 5/11/09 Criterio Segnalazione antipodale P H ) = P( ) ( 0 H1 ntc T H1 : x( ntc) = A rect + w( ntc) T ntc T H0 : x( ntc) = A rect + w( ntc) T dove: n = 0,1,, N 1 in notazione vettoriale: H H 1 0 : : x= As+ w x= As+ w N = T T c
Criterio di decisione MAP Laboratorio del 5/11/09 Criterio Esercizio proposto: implementazione del filtro adattato grafico del segnale all ingresso e all uscita del filtro adattato al variare del tempo in presenza di rumore bianco calcolo della probabilità d errore teorica e confronto con quella ottenuta tramite simulazione Monte Carlo in funzione del rapporto segnale-rumore istruzioni: conv, erfc Q ( x) = 0.5* erfc( x ) Strategia di decisione: H1 T sx > < H 0 0
Criterio di decisione MAP Laboratorio del 5/11/09 Criterio 4 Segnale osservato nell hp H 1 N=16 SNR=0 db observed data 3 1 0-1 - 0 5 10 15 samples
Criterio di decisione MAP Laboratorio del 5/11/09 Criterio 1 Filtro adattato N=16 SNR=0 db matched filter output 10 8 6 4 0 0 5 10 15 0 5 30 samples
Criterio di decisione MAP Laboratorio del 5/11/09 Criterio 6 5 Segnale osservato nell hp H 1 N=16 SNR=10 db observed data 4 3 1 0 5 10 15 samples
Criterio di decisione MAP Laboratorio del 5/11/09 Criterio 140 10 Filtro adattato N=16 SNR=10 db matched filter output 100 80 60 40 0 0 0 5 10 15 0 5 30 samples
Criterio di decisione MAP Laboratorio del 5/11/09 Criterio Probabilità d errore N=16 N s =50000 error probability 10 0 10-1 10 - sim Q 10-3 10-4 -16-14 -1-10 -8-6 -4-0 4 SNR (db)
Criterio di decisione MAP Laboratorio del 5/11/09 Criterio Probabilità d errore N=8 N s =50000 error probability 10 0 10-1 10 - sim Q 10-3 10-4 -16-14 -1-10 -8-6 -4-0 4 SNR (db)
Laboratorio del 3/1/08 Criterio di decisione NP Segnalazione on-off H H 1 0 : : x( nt x( nt c c ) ) = nt Arect = w( nt c ) in notazione vettoriale: c T T H H 1 0 : : dove: + x x = = w( nt w c ) n = 0,1,, N 1 As + w N = T T c Q ( x) = 0.5* erfc( x )
Laboratorio del /1/09 Criterio di decisione NP Esercizio proposto: calcolo della probabilità di falso allarme teorica e confronto con quella ottenuta tramite simulazione Monte Carlo al variare della soglia di decisione calcolo delle caratteristiche operative ROC (in teoria e per simulazione) calcolo della probabilità di rivelazione in funzione del rapporto segnale rumore (in teoria e per simulazione)
Laboratorio del /1/09 Criterio di decisione NP ROC per SNR=0 db P FA in funzione della soglia
Laboratorio del /1/09 Criterio di decisione NP P D in funzione di SNR, P FA =10-3
Laboratorio del 9/1/09 Stima spettrale Sequenza dei dati utili di lunghezza N dn [ ] rumore Gaussiano bianco a varianza unitaria Esercizio proposto: Calcolo del periodogramma dei dati al variare di N. Considerazioni sulla non consistenza dello stimatore istruzioni: periodogram
Laboratorio del 9/1/09 Stima spettrale N=64 N=104
Laboratorio del 9/1/09 Stima spettrale Sequenza dei dati utili 1 0 0 ( ) yn [ ] = Asin( π fn) + Asin( π f + α N n) + dn [ ] dove dn [ ] rumore Gaussiano bianco a varianza =10-3 f 0 = 0.
Laboratorio del 9/1/09 Stima spettrale Esercizio proposto: Risoluzione: si supponga A 1 =A =1 e N=64. Calcolare il periodogramma della sequenza di dati per α=0.1, 0.9 e e commentare l abilità del periodogramma a risolvere le righe spettrali. Leakage: si supponga A 1 =1 e N=64 e si vari il valore di A, per es. A =0.5, 0.1, 0.01. Calcolare il periodogramma per α=4 e commentare l abilità del periodogramma a risolvere le righe spettrali. In entrambi i casi disegnare il periodogramma in scala semilogaritmica istruzioni: periodogram
Laboratorio del 9/1/09 Stima spettrale α=0.1 Risoluzione α=
Laboratorio del 9/1/09 Stima spettrale 10 1 10 0 Leakage 10-1 10 - DSP 10-3 α=4 A 1 =1 A =0.1 10-4 10-5 10-6 10-7 -0.5-0.4-0.3-0. -0.1 0 0.1 0. 0.3 0.4 0.5 normalized frequency