IDENTIFICAZIONE dei MODELLI e ANALISI dei DATI Lezione 20: Stima puntuale Motivazioni Stima puntuale Indice di qualitá della stima Stimatore a MEQM Stimatore lineare a MEQM Il caso gaussiano Esempi 20-1
Motivazioni Nell analisi dei dati si desidera ottenere informazioni su un certo fenomeno X osservando i valori assunti da un fenomeno collegato Y. In un contesto probabilistico abbiamo visto come l acquisizione di informazioni su X tramite osservazioni su Y, sia completamente descritta dalla sostituzione della d.d.p. marginale (a priori) fx(x)) con la d.d.p. condizionata (a-posteriori) f X Y (x y) = f X,Y (x, y) fy (y) Nella maggior parte dei casi tuttavia non è possibile calcolare f X Y (x y) in maniera analitica. Il calcolo ripetuto della densità condizionata, dovuta all accumularsi delle osservazioni, è quindi computazionalmente proibitivo. (1) È allora opportuno definire degli strumenti più semplici per caratterizzare la nostra informazione su X. Uno di questi è la stima puntuale di X basata su Y cioé l operazione di inferenza statistica per cui si assegna a X un valore sulla base di una osservazione su Y. 20-2
Stima puntuale Dati del problema: X fenomeno non osservato, modellato come v.a. vettoriale, X R n. Y fenomeno osservato, modellato come v.a. vettoriale, Y R m. Informazione a priori: d.d.p. congiunta fx,y (x, y); in particolare i momenti del 1 0 e 2 0 ordine: mx = E[X], my = E[Y ]; Rx = V ar(x); Ry = V ar(y ); Rxy = Covar(X, Y ). Definizione - Ogni funzione g( ) : R m R n viene chiamata stimatore puntuale di X basato su Y. La v.a. g(y ) viene chiamata stima puntuale di X basata su Y : essa è la v.a. che, in corrispondenza di ogni osservazione y relativa al fenomeno Y assegna ad X, come stima, il valore g(y). Osservazione - È opportuno considerare la stima congiunta di tutte le componenti del vettore X, anche se potremmo disaccoppiare il problema di stima considerando un diverso stimatore scalare per ogni componente di X. 20-3
Qualità della stima Obiettivo: Data la d.d.p. congiunta fx,y (x, y), scegliere un buon stimatore g( ), cioè tale che l errore di stima X = X g(y ) sia mediamente piccolo. Definizione - Dato uno stimatore g( ) si definisce errore quadratico medio (EQM) relativo alla stima di X basata su Y la matrice V (g) = E[ X X ] = [(x g(y)][x g(y)] fx,y (x, y)dxdy (2) Si noti che V (g) R n n è una matrice simmetrica, semidefinita positiva. Essa costituisce un indicatore di qualità della stima. Definizione - Date le v.a. X, Y, uno stimatore g( ) é detto stimatore a minimo errore quadratico medio (MEQM) se V (g) V (h), h( ) : R m R n (3) N.B. V (g) V (h) significa che la matrice V (h) V (g) é semipositiva definita. Ne consegue che se g( ) è uno stimatore vettoriale a MEQM, le sue componenti gi( ), i = 1... n sono stimatori scalari a MEQM delle v.a. scalari Xi 20-4
Stimatore a MEQM Date le v.a. X, Y, si consideri lo stimatore media condizionata g ( ). Esso associa all osservazione y la media della d.d.p. condizionata relativa a y: g (y) = xf(x y)dx = E[X Y = y] (4) Teorema - Lo stimatore media condizionata é lo stimatore a MEQM. L EQM minimo è la varianza della d.d.p. condizionata V (g ) = (x g (y))(x g (y)) fx,y (x, y)dxdy (5) Osservazione - Nel caso in cui la v.a. Y è indipendente da X, o in cui non si facciano osservazioni, lo stimatore a MEQM di X è la media mx di X e il corrispondente EQM è la varianza Rx Osservazione - Il valore medio dell errore di stima X relativo allo stimatore a MEQM è nullo. Se uno stimatore produce un errore di stima con valor medio mx non nullo, se ne ottiene uno migliore sottraendo alla stima mx 20-5
Stimatore lineare In molti casi lo stimatore media condizionata è non lineare e puó essere calcolato solo numericamente. Per questo, molto spesso, ci si limita a considerare la classe degli stimatori lineari. Definizione - Date le v.a. X, Y, uno stimatore lineare di X basato sulle osservazioni di Y è una funzione l( ) : R m R n, l(y) = Ly + l (6) dove L R n m ed l R n. Osservazione - L errore di stima X = X l(y ) è caratterizzato da E[ X] = mx Lmy l V ar( X) = Rx LRyx RxyL + LRyL 20-6
Stimatore lineare a MEQM Si consideri lo stimatore l (y) = L y + l con L = RxyR 1 y, l = mx RxyR 1 y my (7) Teorema Lo stimatore l ( ) è lo stimatore a MEQM fra tutti quelli lineari. L EQM corrispondente è: V (l ) = Rx RxyR 1 y R yx (8). Osservazione - Il miglior stimatore lineare dipende solo dai primi e secondi momenti della d.d.p. congiunta fx,y (x, y). Osservazione - Si può dimostrare che V (l ) 0. Inoltre si verifica banalmente che V (l ) Rx, cioè che, per effetto della osservazione su Y, l incertezza su X diminuisce. Quindi processare l informazione fornita da Y è comunque utile per ridurre (poco o molto dipende) l incertezza sulle grandezza non osservata X. 20-7
Il caso gaussiano Per quanto visto in precedenza (lezione 02), se X e Y sono v.a. congiuntamente gaussiane, la media condizionata dipende linearmente dalle osservazioni. Pertanto lo stimatore stimatore media condizionata g ( ) è lineare (e naturalmente coincide con l ( )). Abbiamo quindi Teorema - Se X e Y sono congiuntamente gaussiane, allora lo stimatore di X basato sulle osservazioni di Y a MEQM è lo stimatore lineare l ( ). Osservazione - In molte applicazioni si ricorre allo stimatore l ( ). Esso sarà ottimo se le variabili in gioco sono gaussiane. Sarà linearmente ottimo in caso contrario. 20-8
Esempi L acquisizione di informazione su X porta a una riduzione della ampiezza della regione di confidenza. x 2 8 6 4 2 0 2 4 4 3 2 1 0 1 2 3 4 x 1 Evoluzione della regione di confidenza per effetto di una misura su X 20-9
x 2 10 8 + valore vero di x stima a priori stima misura 1 stima misura 2 x 2 10 8 + valore vero di x stima a priori stima misura 1 stima misura 2 6 6 4 4 2 2 0 0 2 2 4 2 0 2 4 x 1 4 4 2 0 2 4 x 1 Evoluzione della regione di confidenza per effetto di due misure. Fig. A misure sulla stessa variabile. Fig. B misure su variabili diverse.