Teoria della decisione e della stima. Esercitazioni di laboratorio Anno accademico M.S. Greco

Transcript

1 Teoria della decisione e della stima Esercitazioni di laboratorio Anno accademico M.S. Greco

2 Laboratorio del 30/09/09 09 Processi AR + Sx() z = Rx( m) z m= m Densità spettrale complessa La regione di convergenza di S () x z è costituita dai valori di z per cui converge la sommatoria La densità spettrale di potenza ( j f Sx e π ) si ottiene valutando Sx() z sul cerchio unitario Im{z} f=1/4 f=1/ f=-1/ f=0 Re{z}

3 Laboratorio del 30/09/09 09 Processi AR AR(1) R ( m) = σ ρ ρ < 1 x x m < m <+ Calcoliamo la densità spettrale complessa: + 1 m m m m m m x() = σx ρ = σx ρ + σx ρ m= m= m= 0 S z z z z σ ρz ρz m m x x ( z) = x z ( z) = m= 1 m= 0 1 σ ρ σ ρ ρ ρ z < 1 z < 1 ρ σ σ m 1 x x ( ρz ) = z > ρ 1 m= 0 1 ρz zona di convergenza 1 ρ ρ S x ( 1 ρ ) σx σxρz σx () z = + = ρz 1 ρz 1 ρz 1 ρz ( )( )

4 Laboratorio del 30/09/09 09 Processi AR Esercizio proposto: Processo reale AR(1) con autocorrelazione R ( m) Rappresentazione di una possibile realizzazione, grafico del coefficiente di autocorrelazione e della densità spettrale di potenza al variare di ρ Uso delle istruzioni: randn, filter, plot e stem x = σ ρ x m

5 Laboratorio del 30/09/09 09 Processi AR Generazione di rumore Gaussiano bianco w=sigmaw*randn(1,n); Generazione sequenziale di dati correlati tramite l istruzione filter a(1)=1; a()=-ro; b(1)=1; x=filter(b,a,w); Generazione di dati correlati tramite le istruzioni toeplitz e chol M=toeplitz(r); L=(chol(M)). ; x=lw;

6 Laboratorio del 30/09/09 09 Processi AR Processo di Markov Realizzazione Processo passa-alto alto

7 Laboratorio del 30/09/09 09 Processi AR Processo di Markov Coefficiente di correlazione Processo passa-alto alto

8 Laboratorio del 30/09/09 09 Processi AR Processo di Markov PSD S x j π f ( e ) = σ W 1 1 ρexp ( j π f ) σw = 1 + ρ ρcos π ( f ) Processo passa-alto alto

9 Laboratorio del 7/10/09 Processi AR Esercizio proposto: Sia dato un processo reale AR() che soddisfa all equazione alle differenze xn ( ) = a xn ( 1) + a xn ( ) + wn ( ),1, Detti p = p i poli del sistema, calcolare la relazione tra tali poli ed i 1 coefficienti dell eq. alle differenze. Verificare tale relazione tramite l istruzione matlab poly per p1 = 0.98 e j 3π 4 continua...

10 Laboratorio del 7/10/09 Processi AR Rappresentare una possibile realizzazione del processo al variare del modulo e della fase dei poli, supponendo che w(n) sia rumore Gaussiano bianco con varianza unitaria. Utilizzare l istruzione filter; Calcolare l espressione della densità spettrale di potenza (DSP) del processo, verificarne l esattezza tramite le istruzione matlab poly e polyval; Fare il grafico della DSP al variare del modulo e della fase dei poli. continua...

11 Laboratorio del 7/10/09 Processi AR Calcolare in forma chiusa l espressione della correlazione del processo; Verificare il risultato tramite IFFT della DSP del processo; Fare il grafico della funzione di autocorrelazione al variare del modulo e della fase dei poli.

12 Laboratorio del 7/10/09 Processi AR Funzione di correlazione R m a R m a R m m m x( ) =,1 x( 1) +, x( ) + σδ w ( ) 0 R ( m) = c p + c p x m m 1 1 Rx(0) = σ x = c + c Rx (1) = c1p1+ cp 1 R (0) a R (1) a R () =σ a,1rx(0) + (1 a,) Rx(1) = 0 a,rx(0) + a,1rx(1) Rx() = 0 x,1 x, x w

13 Laboratorio del 7/10/09 Processi AR Realizzazione 15 realizzazione del processo AR() 10 Processo passa-banda ampiezza 5 0 p1 = 0.98 e j 3π # samples

14 Laboratorio del 7/10/09 Processi AR PSD processo AR() Processo passa-banda DSP 600 p1 = 0.98 e j 3π normalized frequency

15 Laboratorio del 7/10/09 Processi AR Funzione di correlazione Processo passa-banda correlazione processo AR()- IFFT formula teorica p1 = 0.98 e j 3π 4 correlazione m

16 Laboratorio del 7/10/09 Processi AR 3 realizzazione del processo AR() Realizzazione p1 = 0.58 e π j 4 ampiezza # samples

17 Laboratorio del 7/10/09 Processi AR 5 processo AR() PSD p1 = 0.58 e π j 4 DSP normalized frequency

18 Laboratorio del 7/10/09 Processi AR processo AR()- IFFT Funzione di correlazione correlazione p1 = 0.58 e π j 4 correlazione formula teorica m

19 Laboratorio del 14/10/09 Stima ML Esercizio proposto: Stima ML del valor medio di un processo Gaussiano a valor medio μ a varianza nota a partire da una sequenza di N campioni Calcolo dell istogramma della ddp della stima per due valori di N Uso dell istruzione: hist

20 Laboratorio del 14/10/09 Stima ML N=8 N=104

21 Laboratorio del 14/10/09 Stima ML Esercizio proposto: Stima congiunta del valor medio e della varianza di un processo Gaussiano a valor medio μ e varianza unitaria Calcolo della polarizzazione e dell RMSE al variare del numero di campioni N

22 Laboratorio del 14/10/09 Stima ML N 1 1 ˆ μ = xn ( ) N n= 0 RMSE dello stimatore ML del valor medio

23 Laboratorio del 14/10/09 Stima ML N 1 1 ˆ μ = xn ( ) N n= 0 Polarizzazione dello stimatore ML del valor medio

24 Laboratorio del 14/10/09 Stima ML ˆ σ ML N 1 1 = N n= 0 ( xn ( ) ˆ μ ) ML RMSE dello stimatore ML della varianza

25 Laboratorio del 14/10/09 Stima ML ˆ σ ML N 1 1 = N n= 0 ( xn ( ) ˆ μ ) ML Polarizzazione dello stimatore ML della varianza

26 Laboratorio del 1/10/09 ML vs MAP x ( n) = A + w( n) wn N σ ( ) (0, ) 1) A deterministico incognito A N σ ) (0, A) Esercizio proposto: SNR = σ A σ SNR = A σ Grafico della ddp di A, della ddp di X A e del loro prodotto. Commenti Calcolo dell MSE della stima ML e MAP di A al variare del numero di campioni N per SNR=-4 db; Calcolo dell MSE della stima ML e MAP di A al variare del rapporto segnale-rumore SNR per N=4; Grafici di confronto.

27 10 0 ddpa 10 0 ddpa Laboratorio del 1/10/09 ML vs MAP SNR=-4 db 10-1 ddpxca ddpxa 10-1 ddpxca ddpxa N= N=4

28 10 0 ddpa Laboratorio del 1/10/09 ML vs MAP 10-5 ddpxca ddpxa SNR=-4 db N=

29 10 0 ddpa 10 0 ddpa Laboratorio del 1/10/09 ML vs MAP N= ddpxca ddpxa 10-1 ddpxca ddpxa SNR=-4 db SNR=10 db

30 Laboratorio del 1/10/09 ML vs MAP SNR=-4 db 10 0 ML MAP N 1 ˆ 1 AML = xn ( ) N n= 0 ˆ σ AMAP = xn ( ) σ N 1 A + σ AN n= 0 MSE N

31 Laboratorio del 1/10/09 ML vs MAP 10 0 ML MAP N= SNR = A σ MSE SNR = σ A σ SNR (db)

32 Laboratorio del 1/10/09 ML vs MAP Conclusioni All aumentare di N lo stimatore MAP tende allo stimatore ML (informazioni a posteriori dominanti) All aumentare di SNR lo stimatore MAP tende allo stimatore ML (informazioni a posteriori dominanti)

33 Laboratorio del 8/10/09 Stima ML Esercizio proposto: Il segnale osservato è X( n) = B+ V( n) dove B è un parametro deterministico incognito e V(n) è un processo Gaussiano AR(1) con coefficiente di correlazione ad un passo ρ. Si calcoli tramite simulazione Monte Carlo la varianza dello stimatore ML di B che utilizza i soli campioni X(0) e X(1) al variare del valore di ρ da a 0.95 a parità di rapporto segnale rumore SNR = B σ v. Per generare i campioni del processo a partire da rumore bianco si utilizzi la decomposizione di Cholensky della matrice di correlazione. Si commentino i risultati ottenuti

34 Laboratorio del 8/10/09 Stima ML La funzione di verosimiglianza può essere scritta come 1 L( x; B) = exp 1 π M T 1 ( x B1) M ( x B1) dove x x(0) = x(1) 1 1 = 1 ρ 1 e M = σ v ρ 1 Risolvendo l equazione ln L( x; B) B si ottiene Bˆ ML x(0) + x(1) = = 0

35 Laboratorio del 8/10/09 Stima ML Bˆ ML = x(0) + x(1) 10 0 Radice dell errore quadratico medio RMSE var { Bˆ ML } σ = ( + ρ ) v ro

36 Laboratorio del 8/10/09 Stima ML Bˆ ML = x(0) + x(1) Polarizzazione E{ BˆML } = B bias ro

37 Laboratorio del 4/11/09 Stima ML Stima ML dei parametri di una cosinusoide immersa in rumore termico x( n) = Acos(πf 0Tc n φ) + w( n) 1 N 1 ˆ j π ftc n f0ml = arg max x( n) e f N n= 0 N 1 = x n e N ˆ ˆ π 0 ML c ( ) A ML n= 0 j f T n ˆ φ ML = arctg N 1 n= 0 N 1 n= 0 xn ( )sen( π fˆ Tn) 0ML xn ( )cos( π fˆ Tn) 0ML c c

38 Laboratorio del 4/11/09 Stima ML Limiti di Cramér-Rao σ CRLB( A) = N 1 CRLB( f0) = (π ) ηn( N (N 1) CRLB( φ) = ηn( N + 1) 1) dove η = A σ

39 Laboratorio del 4/11/09 Stima ML Esercizio proposto: implementazione della stima ML calcolo degli RMSE al variare di N confronto con i CRLB istruzioni: fft, angle, max

40 Laboratorio del 4/11/09 Stima ML Stima della frequenza A= MSE CRLB σ =1 Frequency MSE N

41 Laboratorio del 4/11/09 Stima ML Stima dell ampiezza 10 MSE CRLB A= σ =1 Amplitude MSE N

42 Laboratorio del 4/11/09 Stima ML Stima della fase 10 0 MSE CRLB A= σ =1 Phase MSE N

43 Laboratorio del 11/11 11/09 /09 Filtro di Wiener Modello del segnale e dell osservato s( n) = αs( n 1) + w( n) xn ( ) = sn ( ) + vn ( ) wn N σ w ( ) (0, = 1) vn N σ v ( ) (0, ) w(n) rumore di generazione v(n) rumore di osservazione indipendente dal s(n)

44 Laboratorio del 11/11 11/09 /09 Filtro di Wiener IIR causale: Si può dimostrare che β n hn ( ) = 1 β un ( ) α dove β = α + γ α + γ (1 ) (1 ) se α = α + > α 0 β = α + γ + α + γ (1 ) (1 ) 1 σ 1 α γ = σ s v 1+ α 1 1 se α = α + < α s SNR = σ σ v 0

45 Laboratorio del 11/11 11/09 /09 Filtro di Wiener FIR a 3 prese sˆ( n) = h(0) x( n) + h(1) x( n 1) + h() x( n ) E necessario risolvere questo sistema Rh x = r xs

46 Laboratorio del 11/11 11/09 /09 Filtro di Wiener Esercizio proposto: implementazione del filtro di Wiener IIR causale implementazione del filtro FIR a tre prese confronto tra le risposte impulsive e in frequenza dei due filtri confronto fra le uscite dei due filtri istruzioni: filter, inv

47 Laboratorio del 11/11 11/09 /09 Filtro di Wiener SNR=10 db α=-0.9

50 Laboratorio del 11/11 11/09 /09 Filtro di Wiener SNR=10 db α=0.99

56 Laboratorio del 11/11 11/09 /09 Filtro di Wiener Conclusioni: β diminuisce all aumentare di SNR Per SNR - (db) β=α, h(n)=0 e sˆ( n ) = 0 cioè pari al suo valor medio All aumentare di SNR β si allontana da α e tende a 0. La banda aumenta e il guadagno del filtro IIR aumenta. Se SNR il polo si sposta nell origine, β=0 e il filtro di Wiener diventa passa-tutto.

57 Laboratorio del 18/11/09 Filtro di Kalman Stima della posizione e della velocità angolare e radiale di un bersaglio radar Equazioni del moto ρ( n+ 1) = ρ( n) + T ρ( n) ρ( n+ 1) ρ( n) = T ρ( n) = u ( n) 1 ρ( n) θ ( n) ρ ( n + 1) Accelerazione radiale θ ( n+ 1) = θ( n) + T θ( n) θ ( n + 1) θ ( n+ 1) θ( n) = T θ( n) = u ( n) Accelerazione angolare

58 Laboratorio del 18/11/09 Filtro di Kalman Esercizio proposto: implementazione del filtro di Kalman vettoriale per la stima di posizione e velocità angolare e radiale di un bersaglio radar grafico del segnale vero, osservato e stimato al variare del tempo

59 Laboratorio del 18/11/09 Filtro di Kalman Stimatore: Sˆ( n) = A( n) Sˆ( n 1) + K( n)[ X( n) C( n) A( n) Sˆ( n 1)] Guadagno del filtro: T T K( n) = P1( n) C ( n) ( n) 1( n) ( n) + ( n) C P C R 1 MSE della stima al passo n: P( n) = P( n) K( n) C( n) P( n) 1 1 con: P( n) = A( n) P( n 1) A T ( n) + Q( n 1) 1

60 Laboratorio del 18/11/09 Filtro di Kalman Modello del segnale ρ( n+ 1) 1 T 0 0 ρ( n) 0 ρ( n+ 1) ρ( n) u1( n) = + θ( n + 1) T θ( n) 0 θ( n+ 1) θ( n) u ( n) S( n+ 1) = AS( n) + W( n) Modello dell osservato x ( n) = ρ( n) + v ( n) 1 1 x ( n) = θ ( n) + v ( n) ρ( n) x1( n) ρ( n) v1( n) x( n) = θ ( n) v( n) θ ( n) X( n) = CS( n) + V( n)

61 Laboratorio del 18/11/09 Filtro di Kalman σ1 0 0 T Q( n) = E{ W( n) W ( n) } = σ Matrice di covarianza del rumore di misura T σ 0 ρ R( n) = E{ V( n) V ( n) } = 0 σθ Matrice di covarianza del rumore di osservazione V(n) e W(n) vettori congiuntamente Gaussiani stazionari

62 Laboratorio del 18/11/09 Filtro di Kalman Inizializzazione del filtro 0 0 S (0) = S(1) = W (1) X(0) = V(0) 0 0 σ ρ x1 (1) σ ρ 0 0 T x1(1) x1(0) σρ σ ρ + σ1 0 0 ˆ (1) T S = P(0) = T T x (1) σθ 0 0 σθ x(1) x(0) T T σθ σθ σ T T

63 Laboratorio del 18/11/09 Filtro di Kalman Parametri di lavoro vera stimata osservato σ σ θ ρ 1 = = 500 m T = 1 s σ = 1 m σ = 0.1 distanza radiale (metri) tempo di osservazione

64 Laboratorio del 18/11/09 Filtro di Kalman Parametri di lavoro vera stimata σ σ θ ρ 1 = = 500 m T = 1 s σ = 1 m σ = 0.1 velocità radiale (metri/s) tempo di osservazione

65 Laboratorio del 18/11/09 Filtro di Kalman Parametri di lavoro vera stimata osservato σ σ θ ρ 1 = = 500 m T = 1 s σ = 1 m σ = 0.1 distanza angolare (gradi) tempo di osservazione

66 Laboratorio del 18/11/09 Filtro di Kalman Parametri di lavoro 0 15 vera stimata σ σ θ ρ 1 = = 500 m T = 1 s σ = 1 m σ = 0.1 velocità radiale (gradi/s) tempo di osservazione

67 Criterio di decisione MAP Laboratorio del 5/11/09 Criterio Segnalazione antipodale P H ) = P( ) ( 0 H1 ntc T H1 : x( ntc) = A rect + w( ntc) T ntc T H0 : x( ntc) = A rect + w( ntc) T dove: n = 0,1,, N 1 in notazione vettoriale: H H 1 0 : : x= As+ w x= As+ w N = T T c

68 Criterio di decisione MAP Laboratorio del 5/11/09 Criterio Esercizio proposto: implementazione del filtro adattato grafico del segnale all ingresso e all uscita del filtro adattato al variare del tempo in presenza di rumore bianco calcolo della probabilità d errore teorica e confronto con quella ottenuta tramite simulazione Monte Carlo in funzione del rapporto segnale-rumore istruzioni: conv, erfc Q ( x) = 0.5* erfc( x ) Strategia di decisione: H1 T sx > < H 0 0

69 Criterio di decisione MAP Laboratorio del 5/11/09 Criterio 4 Segnale osservato nell hp H 1 N=16 SNR=0 db observed data samples

70 Criterio di decisione MAP Laboratorio del 5/11/09 Criterio 1 Filtro adattato N=16 SNR=0 db matched filter output samples

71 Criterio di decisione MAP Laboratorio del 5/11/09 Criterio 6 5 Segnale osservato nell hp H 1 N=16 SNR=10 db observed data samples

72 Criterio di decisione MAP Laboratorio del 5/11/09 Criterio Filtro adattato N=16 SNR=10 db matched filter output samples

73 Criterio di decisione MAP Laboratorio del 5/11/09 Criterio Probabilità d errore N=16 N s =50000 error probability sim Q SNR (db)

74 Criterio di decisione MAP Laboratorio del 5/11/09 Criterio Probabilità d errore N=8 N s =50000 error probability sim Q SNR (db)

75 Laboratorio del 3/1/08 Criterio di decisione NP Segnalazione on-off H H 1 0 : : x( nt x( nt c c ) ) = nt Arect = w( nt c ) in notazione vettoriale: c T T H H 1 0 : : dove: + x x = = w( nt w c ) n = 0,1,, N 1 As + w N = T T c Q ( x) = 0.5* erfc( x )

76 Laboratorio del /1/09 Criterio di decisione NP Esercizio proposto: calcolo della probabilità di falso allarme teorica e confronto con quella ottenuta tramite simulazione Monte Carlo al variare della soglia di decisione calcolo delle caratteristiche operative ROC (in teoria e per simulazione) calcolo della probabilità di rivelazione in funzione del rapporto segnale rumore (in teoria e per simulazione)

77 Laboratorio del /1/09 Criterio di decisione NP ROC per SNR=0 db P FA in funzione della soglia

78 Laboratorio del /1/09 Criterio di decisione NP P D in funzione di SNR, P FA =10-3

79 Laboratorio del 9/1/09 Stima spettrale Sequenza dei dati utili di lunghezza N dn [ ] rumore Gaussiano bianco a varianza unitaria Esercizio proposto: Calcolo del periodogramma dei dati al variare di N. Considerazioni sulla non consistenza dello stimatore istruzioni: periodogram

80 Laboratorio del 9/1/09 Stima spettrale N=64 N=104

81 Laboratorio del 9/1/09 Stima spettrale Sequenza dei dati utili ( ) yn [ ] = Asin( π fn) + Asin( π f + α N n) + dn [ ] dove dn [ ] rumore Gaussiano bianco a varianza =10-3 f 0 = 0.

82 Laboratorio del 9/1/09 Stima spettrale Esercizio proposto: Risoluzione: si supponga A 1 =A =1 e N=64. Calcolare il periodogramma della sequenza di dati per α=0.1, 0.9 e e commentare l abilità del periodogramma a risolvere le righe spettrali. Leakage: si supponga A 1 =1 e N=64 e si vari il valore di A, per es. A =0.5, 0.1, Calcolare il periodogramma per α=4 e commentare l abilità del periodogramma a risolvere le righe spettrali. In entrambi i casi disegnare il periodogramma in scala semilogaritmica istruzioni: periodogram

83 Laboratorio del 9/1/09 Stima spettrale α=0.1 Risoluzione α=

84 Laboratorio del 9/1/09 Stima spettrale Leakage DSP 10-3 α=4 A 1 =1 A = normalized frequency