Appunti di Probabilità e Teoria della Stima. Antonello Giannitrapani, Andrea Garulli Master E 2 C Versione 1.0

Transcript

1 Appunti di Probabilità e Teoria della Stima Antonello Giannitrapani, Andrea Garulli Master E C Versione.0

2 Indice Teoria della probabilità. Spazi di probabilità Variabili aleatorie, distribuzioni e densità Distribuzioni bivariate e multivariate Media e varianza Variabili aleatorie gaussiane Funzioni di una o più variabili aleatorie Distribuzioni condizionali Esercizi Teoria della stima 35. Stima parametrica Formulazione del problema Proprietà di uno stimatore Stima non polarizzata a minima varianza Limite di Cramér-Rao Stima a massima verosimiglianza Rumore additivo Problemi di stima lineare Stima Bayesiana Stima a minimo errore quadratico medio Stima lineare a minimo errore quadratico medio Esercizi i

3 ii INDICE

4 Elenco delle figure. Decomposizione di una funzione distribuzione di probabilità nelle sue componenti continue e discrete Interpretazione delle funzioni densità e distribuzione di probabilità Densità di probabilità uniforme U[a, b] Densità di probabilità gaussiana a media nulla e varianza unitaria Dominio di integrazione della (.0) per ζ fissato La P (A B) è pari alla probabilità che (x, y) appartenga alla zona in grigio Densità di probabilità di uno stimatore corretto e di uno polarizzato Densità di probabilità di uno stimatore consistente iii

5 iv ELENCO DELLE FIGURE

6 Capitolo Concetti fondamentali di teoria della probabilità In questo capitolo vengono richiamate alcune nozioni fondamentali della teoria della probabilità.. Spazi di probabilità Definizione.. Si definisce spazio di probabilità la tripla {Ω, A, P ( )}, in cui:. Ω = {ω, ω,... } è un insieme, eventualmente infinito, detto spazio degli eventi elementari;. A = {A, A,... } è una famiglia di sottoinsiemi A i di Ω, detti eventi, chiusa rispetto alle operazioni di unione, intersezione e passaggio al complementare: (a) A, A A A A A; (b) A, A A A A A; (c) A A A A; Una famiglia che gode di tali proprietà è detta algebra

7 CAPITOLO. TEORIA DELLA PROBABILITÀ 3. P ( ) è una funzione reale definita su A che gode delle seguenti proprietà: (a) P (A) 0, A A; (b) P (Ω) = ; (c) A, A A : A A = P (A A ) = P (A ) + P (A ). Per definire uno spazio di probabilità occorre specificare: lo spazio Ω degli eventi elementari ω i, che rappresentano tutti i possibili esiti del fenomeno incerto che si intende studiare; la famiglia A di eventi A i, che rappresentano insiemi di interesse degli esiti del fenomeno incerto in esame; una funzione di probabilità P ( ) definita su A. Si noti che, dalla definizione di A, se A A, allora, per la proprietà di chiusura c, anche il suo complementare A A. Ora, per le proprietà a-b occorre che: A A A e A A A. Ma, direttamente dalla definizione di insieme complementare, segue che A A = Ω e A A =. Per cui vale sempre che: Ω A; (.) A. (.) Esempio.. Si consideri il gioco della roulette. Una biglia viene lanciata intorno ad piatto posto in rotazione, suddiviso in 37 settori, numerati da 0 a 36. Vince chi indovina il settore nel quale si fermerà la biglia. In questo caso, si hanno 37 eventi elementari Ω = {ω 0, ω,..., ω 36 }, uno in corrispondenza di ciascun settore in cui può fermarsi la biglia: ω i = { la biglia si è fermata nel settore i-esimo}, i = 0,..., 36. Il gioco prevede anche che possano essere effettuate scommesse multiple, cioè scommettere contemporaneamente su più di un settore. Ad esempio, è

8 .. SPAZI DI PROBABILITÀ 3 possibile scommettere che la biglia si fermi in un qualunque settore contrassegnato da un numero pari (o, viceversa, dispari). Se fossimo interessati solo a queste due puntate, la famiglia A sarebbe composta dai seguenti eventi. Siano: P = { la biglia si è fermata in un settore pari } = {ω, ω 4,..., ω 36 }; D = { la biglia si è fermata in un settore dispari } = {ω, ω 3,..., ω 35 }. Costruiamo la famiglia A. In virtù di quanto osservato in precedenza (eq. (.)- (.)): A = {Ω,,... }; ovviamente: A = {Ω,, P, D,... }; per la proprietà a, A deve contenere anche P D: A = {Ω,, P, D, P D,... }; per la proprietà c, A deve contenere anche P D = { la biglia si è fermata nel settore 0 } = {ω 0 }: A = {Ω,, P, D, P D, {ω 0 },... }; infine, per la proprietà b, A conterrà anche P {ω 0 } e D {ω 0 }: A = {Ω,, P, D, P D, {ω 0 }, P {ω 0 }, D {ω 0 }}. È immediato verificare che la famiglia A così costruita verifica tutte le proprietà di chiusura a-c. Infine, per completare la definizione dello spazio di probabilità, dobbiamo specificare una funzione di probabilità. Dobbiamo, cioè, assegnare a ciascuno degli eventi contenuti in A, un numero reale, in modo che le proprietà 3a-3c siano rispettate. Supponendo che il dispositivo non sia truccato e che, quindi, ciascun settore sia equiprobabile possiamo usare la seguente regola: P (A i ) = n.ro di esiti favorevoli n.ro di esiti possibili = A i Ω,

9 4 CAPITOLO. TEORIA DELLA PROBABILITÀ in cui X denota la cardinalità dell insieme X. Nel nostro caso, essendo il numero di tutti possibili esiti Ω = 37 e P = D = 8 avremo: P (Ω) = ; P ( ) = 0; P (P ) = P (D) = 8 37 ; P (P D) = ; P (ω 0 ) = 37 ; P (P ω 0 ) = P (D ω 0 ) = Dalle proprietà 3a-3c che caratterizzano una funzione di probabilità, è possibile ricavare alcune interssanti conseguenze. A A P ( A ) = P (A). Infatti, dalla 3b, P (Ω) =. Ma Ω = A A, per cui: = P (Ω) = P ( A A ) = P (A) + P ( A ), in virtù della 3c. A A 0 P (A). Tale relazione segue immediatamente dalla proprietà 3a e dalla relazione precedente. P ( ) = 0. Infatti, poiché Ω =, si ha: P ( ) = P ( Ω ) = P (Ω) = 0. A, A A : A A P (A ) P (A ). Infatti, si osservi che, poiché A A è sempre possibile scrivere A = A ( A A ),

10 .. SPAZI DI PROBABILITÀ 5 con A ( A A ) =. Per cui, sfruttando la proprietà 3c, si ha: P (A ) = P ( A ( A A )) = P (A ) + P ( A A ). La tesi segue osservando che P ( A A ) 0 per la 3a. A, A A P (A A ) = P (A ) + P (A ) P (A A ). Innanzitutto, si osservi come è sempre possibile scrivere: A A = A ( A A ). con A ( A A ) =. Inoltre, vale l identità: A A = ( A A ) = ( A A ) ( A A ) = A ( A A ). Quindi, utilizzando la proprietà 3c: Ora, notando che: P (A A ) = P ( A ( A ( A A ))) = P (A ) + P ( A ( A A )). (.3) A ( A A ) = A ( A A ) = A ( A A ) = A (A A ), si ricava: P ( A ( )) ) A A = P (A (A A ) = P ( A (A A ) ) [] = ( P ( ) A + P (A A ) ) = ( P (A ) + P (A A )) = P (A ) P (A A ), (.4) dal momento che A e (A A ) sono disgiunti (uguaglianza []). Infine, sostituendo la (.4) nella (.3), segue la tesi. Si noti come la funzione di probabilità definita nell Esempio. rispetti tutte le precedenti proprietà.

11 6 CAPITOLO. TEORIA DELLA PROBABILITÀ Definizione.. Sia dato lo spazio di probabilità {Ω, A, P ( )}. Due eventi A, B A si dicono statisticamente indipendenti se: P (A B) = P (A) P (B). Se due eventi A e B sono statisticamente indipendenti, la probabilità con la quale essi si verificano contemporaneamente (P (A B)) coincide col prodotto delle probabilità con le quali si verificano i singoli eventi (P (A) P (B)). Definizione.3. Sia dato lo spazio di probabilità {Ω, A, P ( )}. Dati due eventi A e B, si definisce probabilità condizionata di A all evento B: P (A B) = P (A B), (.5) P (B) se l evento B è tale che P (B) 0, altrimenti P (A B) è indefinita. P (A B) indica la nuova probabilità con cui si verifica l evento A una volta noto che si sia già verificato l evento B. Esempio.. Si consideri il lancio di un dado. Se il dado non è truccato, tutti i risultati da uno a sei sono equiprobabili. Per cui, indicato con A i l evento corrispondente al manifestarsi della faccia del dado contrassegnata dal numero i, si ha: P (A i ) =, i =,..., 6. 6 Non disponendo di nessun altra informazione la probabilità con cui ci si attende che il risultato del lancio sia, ad esempio, il numero due è P (A ) = 6. Supponiamo, ora, che il dado venga lanciato ed un osservatore dell esperimento ci informi del fatto che il risultato è un numero pari. Qual è, con questa ulteriore informazione, la probabilità che il risultato sia due? Poiché il risultato è pari, i soli valori ammissibili sono,4,6, ciascuno con probabilità. Per cui ci aspettiamo che sia: 3 P (A il risultato è pari ) = 3.

12 .. SPAZI DI PROBABILITÀ 7 Infatti, si indichi con A p l evento corrispondente al manifestarsi di una faccia del dado contrassegnata da un numero pari. Ovviamente, sarà: P (A p ) =. Dalla Definizione.3: Ma, A A p = A, per cui: P (A A p ) = P (A A p ). P (A p ) P (A A p ) = P (A ) P (A p ) = 6 = 3. Finora, abbiamio incontrato solo spazi di probabilità con un insieme di eventi elementari Ω costituito da un numero finito elementi. Anche in casi semplici come questi, può risultare alquanto laborioso definire uno spazio di probabilità. Inoltre, le funzioni di probabilità, essendo definite su insiemi, non sono facili da trattare. Le cose si complicano ulteriormente nel caso in cui Ω sia un insieme di cardinalità infinita (numerabile o non numerabile). In particolare, si consideri il caso notevole in cui Ω = IR. Come definire la famiglia A in modo che le proprietà di chiusura siano rispettate? Come definire una funzione di probabilità su A? Il seguente risultato fornisce la risposta alla prima domanda. Si denoti con A α IR la semiretta: A α = {x IR x α}, α IR. Si noti che non è possibile scegliere semplicemente A = {A α }, α IR poiché essa non gode delle proprietà di chiusura a-c. Si dimostra che, se si cerca di completare A affinchè valgano le a-c, aggiungendo altri eventi che non siano semirette, si ottiene un algebra costituita da tutti i sottoinsiemi di IR. L algebra così generata dalla semirette A α è detta algebra di Borel. In realtà, è possibile costruire degli insiemi patologici che non appartengono alla famiglia A così generata. D altro canto, tutti i sottoinsiemi di IR di un qualche interesse pratico appartengono ad A.

13 8 CAPITOLO. TEORIA DELLA PROBABILITÀ Infine, è possibile dimostrare che per assegnare una probabilità a ciascun insieme appartenente all algebra di Borel, è sufficiente assegnare una probabilità a ciascuna semiretta A α. Vale a dire basta definire: P (A α ) = P ({x IR x α}), α IR.. Variabili aleatorie, distribuzioni e densità di probabilità Definizione.4. Una variabile aleatoria x (brevemente v.a.) è una funzione dallo spazio degli eventi elementari Ω in IR: x : Ω IR. Il valore ξ assunto dalla variabile aleatoria x, in corrispondenza dell evento ω, prende il nome di realizzazione della v.a. x. Definizione.5. Per ciascuna v.a. x, è possibile definire la funzione di distribuzione della probabilità F x (ξ) indicante la probabilità dell evento {x ξ}: F x (ξ) = P (x ξ), dove P ( ) denota la funzione di probabilità associata all insieme Ω. La funzione di distribuzione della probabilità gode delle seguenti proprietà:. 0 F x (ξ) ;. lim ξ F x (ξ) =, lim F x (ξ) = 0; ξ 3. F x (ξ) è monotona non decrescente. Si noti che la distribuzione di probabilità di una v.a. non deve necessariamente essere una funzione continua. È sempre possibile, però, esprimerla come la somma di una componente continua ed una discreta (v. Figura.): F x (ξ) = F c x (ξ) + F d x (ξ),

14 .. VARIABILI ALEATORIE, DISTRIBUZIONI E DENSITÀ 9 in cui la parte discreta è una somma di gradini (opportunamente scalati e traslati): dove m Fx d (ξ) = γ i u(ξ ξ i ), i= se ξ 0 u(ξ) =. 0 se ξ < 0 In ciascun punto di discontinuità ξ i della F x (ξ), la distribuzione è continua a destra, cioè lim ξ ξ + i F x (ξ) = F x (ξ i ). F d x (ξ) F c x (ξ) F x (ξ) rag replacements PSfrag replacements PSfrag replacements ξ ξ x x ξ ξ x Figura.: Decomposizione di una funzione distribuzione di probabilità nelle sue componenti continue e discrete. Definizione.6. Per ciascuna v.a. x, è possibile definire la funzione di densità della probabilità (brevemente d.d.p.) f x (ξ) come la derivata della funzione di distribuzione della probabilità: f x (ξ) = d dξ F x (ξ). Affinché una funzione f x (ξ) possa essere una densità di probabilità, essa deve soddisfare le seguenti proprietà:. f x (ξ) 0;. f x (ξ) dx =. Direttamente dalla Definizione.6 discende che: F x (ξ) = ξ f x (τ) dτ.

15 0 CAPITOLO. TEORIA DELLA PROBABILITÀ Nel caso in cui la distribuzione della probabilità contenga anche una componente discreta, la corrispondente funzione di densità della probabilità conterrà delle delta di Dirac (opportunamente scalate e traslate), in quanto: d m dξ F x(ξ) d = γ i δ(ξ ξ i ). i= Se f x (ξ) rappresenta la densità di probabilità della v.a. x, allora vale la seguente proprietà: P (a x b) = b a f x (ξ) dx. (.6) La relazione precedente fornisce un interpretazione della funzione di densità di probabilità (v. Figura.). La f x (ξ), infatti, consente di calcolare la probabilità (corrispondente all area della zona in grigio in Figura.) con la quale una v.a. x assume valori appartenenti ad un generico intervallo [a, b] (o, più in generale, ad un insieme). Dalla relazione che lega le funzioni di densità e distribuzione, è facile convincersi che tale probabilità è anche uguale alla differenza F x (b) F x (a). Inoltre, supponendo che la densità di probabilità non contenga delle delta di Dirac, la P (x = a) = 0, per qualunque valore a IR. Infatti, il dominio di integrazione della f x (ξ) ha, in questo caso, misura nulla. Graficamente, l area della zona in grigio in Figura. tende a zero, quando b tende ad a. Quindi, la f x (ξ) non corrisponde alla probabilità che x = ξ. Essa indica solamente in quali zone dell asse reale è più o meno probabile che la x si manifesti. Esempio.3. Distribuzione gaussiana. Una funzione di densità di probabilità del tipo: f x (ξ) = è detta densità gaussiana. e (ξ mx) σx σ x > 0, m x IR, (.7) πσx Spesso, per indicare il fatto che una v.a. x ha una densità di probabilità gaussiana come la (.7), si scrive x N(m x, σx ) (e la stessa v.a. è detta gaussiana o normale ).

16 .. VARIABILI ALEATORIE, DISTRIBUZIONI E DENSITÀ f x (ξ) = P (x [a, b]) a b ξ F x (ξ) PSfrag replacements F x (b) F x (a) a b ξ Figura.: Interpretazione delle funzioni densità e distribuzione di probabilità.

17 CAPITOLO. TEORIA DELLA PROBABILITÀ PSfrag replacements f x (ξ) b a a b ξ Figura.3: Densità di probabilità uniforme U[a, b]. Esempio.4. Distribuzione uniforme. Una funzione di densità di probabilità del tipo: 0 se ξ < a f x (ξ) = b a se a ξ b 0 se ξ > b è detta densità uniforme (v. Figura.3). Una v.a. x avente tale densità di probabilità è detta uniformemente distribuita nell intervallo [a, b] e ciò si indica con x U[a, b]. Definizione.7. Una v.a. x si dice discreta se essa può assumere un insieme numerabile {ξ, ξ,... } (non necessariamente finito) di valori. In questo caso la sua densità di probabilità è data da una sommatoria (eventualmente infinita) di delta di Dirac: f x (ξ) = p i δ(ξ i), con p i = i= i= Si consideri, ad esempio, una v.a. x avente d.d.p.: f x (ξ) = 6 6 δ(ξ i). i=

18 .3. DISTRIBUZIONI BIVARIATE E MULTIVARIATE 3 L esito di quale esperimento può rappresentare la v.a. x?.3 Distribuzioni bivariate e multivariate Siano x e y due variabili aleatorie. Definizione.8. Si definisce funzione di distribuzione di probabilità congiunta (o bivariata) F x,y (ξ, η) la probabilità dell evento congiunto {x ξ, y η}: F x,y (ξ, η) = P (x ξ, y η). Definizione.9. Si definisce funzione di densità di probabilità congiunta (o bivariata) f x,y (ξ, η) la derivata seconda mista della distribuzione di probabilità congiunta: f x,y (ξ, η) = F x,y (ξ, η). ξ η Direttamente dalla Definizione.9 discende che: F x,y (ξ, η) = η ξ f x,y (ξ, η ) dξ dη. (.8) Una distribuzione di probabilità congiunta soddisfa le seguenti proprietà:. F x,y (ξ, η) è monotona non decrescente in ξ e η;. lim ξ η F x,y (ξ, η) = 0, lim ξ + η + F x,y (ξ, η) =. Inoltre, affinché una funzione f x,y (ξ, η) possa essere una densità di probabilità congiunta, essa deve soddisfare le seguenti proprietà:. f x,y (ξ, η) 0;. f x,y (ξ, η) dξdη =.

19 4 CAPITOLO. TEORIA DELLA PROBABILITÀ Analogamente alla (.6), una densità di probabilità congiunta soddisfa la seguente proprietà: P ((x, y) A) = in cui A denota un generico insieme in IR. A f x,y (ξ, η) dξdη, (.9) Si noti che la densità (o, equivalentemente, la distribuzione) congiunta caratterizza completamente il comportamento probabilistico delle due v.a. Infatti, nota la f x,y (ξ, η) è sempre possibile calcolare le singole densità marginali: f x (ξ) = f y (η) = f x,y (ξ, η) dη; (.0) f x,y (ξ, η) dξ. (.) Definizione.0. Due v.a. x ed y si dicono statisticamente indipendenti se la loro di densità di probabilità congiunta è uguale al prodotto delle rispettive densità di probabilità marginali: f x,y (ξ, η) = f x (ξ) f y (η). Esempio.5. Una funzione di densità di probabilità bivariata del tipo: f x,y (ξ, η) = πσ x σ y ρ e { ( ρ ) (ξ mx) σ x } ρ(ξ mx)(η my) + (η my) σxσy σy, con σ x > 0, σ y > 0, ρ <, m x, m y IR, è detta densità gaussiana bivariata. Esempio.6. La funzione: 6 f x,y (ξ, η) = 7 (ξ + η) 0 ξ, 0 η 0 altrove rappresenta una densità di probabilità bivariata.

20 .3. DISTRIBUZIONI BIVARIATE E MULTIVARIATE 5 Le nozioni di distribuzione e densità bivariate possono essere generalizzate al caso di n variabili aleatorie, x, x,..., x n. Per compattezza di notazione, si indichi con x la variabile aleatoria vettoriale: e con ξ un generico vettore di IR n : x = (x, x,..., x n ) T, ξ = (ξ, ξ,..., ξ n ) T, in cui ( ) T denota l operatore di trasposizione. Definizione.. Si definisce funzione di distribuzione di probabilità congiunta (o multivariata) F x (ξ) delle v.a. x, x,..., x n, la probabilità dell evento congiunto {x ξ, x ξ... x n ξ n }: F x (ξ) = F x,...,x n (ξ,..., ξ n ) = P (x ξ,..., x n ξ n ). Definizione.. Si definisce funzione di densità di probabilità congiunta (o multivariata) f x (ξ) delle v.a. x, x,..., x n, la derivata n-esima mista della distribuzione di probabilità congiunta: f x (ξ) = f x,...,x n (ξ,..., ξ n ) = n F x,...,x n (ξ,..., ξ n ) ξ... ξ n. Direttamente dalla Definizione. discende che: F x,...,x n (ξ,..., ξ n ) = ξn... ξ f x,...,x n (ξ,..., ξ n ) dξ... dξ n. (.) Tutte le proprietà illustrate in precedenza per le distribuzioni e le densità bivariate valgono allo stesso modo per le distribuzioni e le densità multivariate, così come le relazioni esistenti fra distribuzioni e densità bivariate e le corrispondenti funzioni marginali. Notazione. D ora in avanti, si utilizzerà lo stesso stile tipografico per denotare indifferentemente v.a. scalari o vettoriali, le dimesioni risultando chiare dal contesto.

21 6 CAPITOLO. TEORIA DELLA PROBABILITÀ.4 Media e varianza Definizione.3. Si definisce valor medio (o valore atteso) m x della v.a. x la quantità: E [x] = + ξf x (ξ) dξ = m x. (.3) Il simbolo E [ ] denota l operatore di valore atteso. Esso gode della seguente proprietà di linearità: E [αx + βy] = αe [x] + βe [y] α, β IR. (.4) Sia g(x) una funzione deterministica di una generica v.a. x. Per definizione: E [g(x)] = + g(ξ)f x (ξ) dξ. Nel caso in cui g(x) = x p, con p numero intero positivo, E [x p ] si chiama momento di ordine p. Analogamente, E [(x m x ) p ] è detto momento centrale di ordine p. Particolare interesse riveste il momento centrale del secondo ordine. Definizione.4. Si definisce varianza σ x della v.a. x la quantità: σ x = E [ (x m x ) ] = + (ξ m x ) f x (ξ) dξ. (.5) Si noti che dalla Definizione.4 discende che σx 0, in quanto la funzione integranda nella (.5) è sempre maggiore o uguale a zero. Il fatto che σ x = 0 implica che la v.a. x può assumere un solo valore (che coincide con m x ) e risulta essere, quindi, una grandezza deterministica. Quando la varianza σ x di una v.a. x esiste, la sua radice quadrata σ x viene chiamata deviazione standard. Definizione.5. Si definisce correlazione o (varianza incrociata) σ x,y delle v.a. x, y la quantità: σ x,y = E [(x mx )(y m y )].

22 .4. MEDIA E VARIANZA 7 È opportuno notare che la Definizione.5 coinvolge il valore atteso di una funzione deterministica g(x, y) di due v.a. x, y. In questo caso, nel calcolo di E [g(x, y)] occorre usare la densità di probabilità congiunta delle v.a. x, y: E [g(x, y)] = + + g(ξ, η)f x,y (ξ, η) dξdη. Definizione.6. Due v.a. x, y si dicono incorrelate se: E [xy] = E [x] E [y]. È immediato verificare che, se due v.a. sono incorrelate, la loro varianza incrociata è uguale a zero. Definizione.7. Si definisce indice (o coefficiente) di correlazione ρ x,y delle v.a. x, y la quantità: ρ x,y = E [(x m x )(y m y )] E [(x mx ) ] E [(y m y ) ] = σ x,y σ x σ y. Il coefficiente di correlazione è sempre compreso tra - ed : ρ x,y. Se le v.a. x e y sono incorrelate ρ x,y = 0. Se x ed y sono due v.a. indipendenti allora esse sono anche incorrelate. L implicazione inversa non è vera, in generale. Vale a dire, due v.a. possono essere incorrelate ma non indipendenti. Nel caso in cui x e y siano due v.a. vettoriali, le Definizioni.4 e.5 vanno modificate come segue. Definizione.8. Si definisce matrice di covarianza P x della v.a. x IR n la quantità: P x = E [ (x mx )(x m x ) T ]. Definizione.9. Si definisce matrice di correlazione o (cross-covarianza) P xy delle v.a. x, y IR n la quantità: P xy = E [ (x mx )(y m y ) T ]. Si noti che, nel caso in cui x, y IR n, i valori medi sono anch essi vettori (colonna) di dimensione n: m x, m y IR n, mentre le matrici P x, P xy IR n n.

23 8 CAPITOLO. TEORIA DELLA PROBABILITÀ.5 Variabili aleatorie gaussiane Una v.a. vettoriale x IR n si dice gaussiana (o normale) se la sua densità di probabilità ha la forma: f x (ξ) = (π) n/ (det P x ) e (ξ mx)t P / x (ξ m x), (.6) con m x IR n e P x matrice quadrata n n, simmetrica e definita positiva 3 : P x = Px T > 0. Spesso, per indicare una v.a. avente la d.d.p. precedente si scrive x N(m x, P x ). [ ] σ Si noti che, nel caso n =, posto P x = ρσ σ si ottiene la ρσ σ σ distribuzione bivariata vista nell Esempio.5. Le v.a. gaussiane godono delle seguenti proprietà.. E [x] = m x ;. E [ (x m x )(x m x ) T ] = P x ; 3. x gaussiana y = Ax + b gaussiana, con: m y = Am x + b, P y = AP x A T ; 4. x e y incorrelate e gaussiane x e y indipendenti. Qualunque combinazione lineare affine di v.a. congiuntamente gaussiane è ancora una v.a. gaussiana (Proprietà 3). Inoltre, per due v.a. gaussiane l incorrelazione coincide con l indipendenza statistica (Proprietà 4). Le v.a. gaussiane rivestono un ruolo importante nella teoria della stima, in quanto consentono il calcolo di stime ottime in maniera agevole. Il seguente Teorema fornisce una giustificazione teorica al largo uso che viene fatto delle v.a. gaussiane nella pratica. 3 Una matrice simmetrica P è detta definita positiva (d.p.) se x T P x > 0, x 0. Una matrice d.p. è sempre invertibile.

24 .5. VARIABILI ALEATORIE GAUSSIANE 9 Teorema del limite centrale (Lyapunov). Siano x,..., x n v.a. indipendenti, con distribizione di probabilità arbitraria. Siano E [x i ] = m i e E [(x i m i ) ] = σi < +. Si consideri la v.a. normalizzata: Z n = n i= x i n n i= σ i i= m i. Sotto opportune condizioni (ipotesi molto generali, vedi Rohatgi and Saleh (00) ), vale lim F Z n (η) = η e t dt. n π Osservazione.. Nel caso in cui le v.a. x i abbiano la stessa media e varianza: m i = m x e σ i = σ x, i =,..., n la v.a. Z n assume la forma: Z n = n n i= x i m x σ x / n. Per cui, si usa dire che la v.a. x = n n i= x i risulta essere asintoticamente distribuita come N(m x, σx /n). Il Teorema del limite centrale afferma quindi che la distribuzione della somma di un numero sufficientemente grande di v.a. indipendenti può essere ben approssimata da una gaussiana. Quando un fenomeno incerto è dovuto ad un elevato numero di cause indipendenti, quindi, è ragionevole assumere che la sua distribuzione sia gaussiana. L andamento della densità di probabilità di una v.a. gaussiana scalare x con valor medio m x = 0 e varianza σ x = (v. equazione (.7)) è rappresentato in Figura.4. Il grafico ha una tipica forma a campana, assume il suo valore massimo in corrispondenza del valor medio ed è simmetrico rispetto ad esso. Qual è la probabilità con la quale una v.a. x N(m x, σx ) assume valori compresi in un intervallo centrato nel suo valor medio e di semiampiezza pari alla sua deviazione standard?

25 0 CAPITOLO. TEORIA DELLA PROBABILITÀ N(0, ) PSfrag replacements Figura.4: unitaria. Densità di probabilità gaussiana a media nulla e varianza Ricordando il significato di funzione di densità di probabilità (v. equazione (.6)), si ha: P (m x σ x x m x + σ x ) = [] = [] = mx+σ x m x σ x mx+σ x m x 0 ( = erf e (ξ mx) σx πσx dξ e (ξ mx) σx πσx e η dη π ) = L uguaglianza [] è dovuta alla simmetria della d.d.p. gaussiana rispetto al suo valor medio, mentre la [] si ottiene col cambio di variabile η = (ξ m x )/σ x. La funzione erf( ) (detta funzione errore ) è definita come 4 : È possibile verificare che erf(ξ) = π ξ lim erf(ξ) =. ξ + 0 e t dt. 4 Questa definizione corrisponde alla funzione erf implementata in Matlab R ; in altri testi si trovano definizioni leggermente diverse della funzione errore. dξ

26 .6. FUNZIONI DI UNA O PIÙ VARIABILI ALEATORIE Dunque, abbiamo visto che se x è una v.a. gaussiana, essa assume valori compresi in un intervallo (centrato in m x ) di semiampiezza pari a σ x con una probabilità di poco superiore al 68%. Analogamente, se consideriamo intervalli di semiampiezza pari a σ x e 3σ x, la probabilità aumenta rispettivamente al 95.45% e 99.73%: P (x [m x σ x, m x + σ x ]) = ; P (x [m x 3σ x, m x + 3σ x ]) = In Matlab R, vedi comandi: normpdf (calcolare il valore di una d.d.p. gaussiana), erf (calcolare il valore di erf(x))..6 Funzioni di una o più variabili aleatorie Sia x una v.a. scalare avente d.d.p. f x (ξ) nota. Si consideri la v.a. y = g(x), ottenuta trasformando la v.a. x attraverso una funzione deterministica g( ). Quanto vale la densità di probabilità f y (η) della nuova v.a. y? Il seguente Teorema fornisce la risposta al precedente quesito. Teorema. Sia x una v.a. scalare con d.d.p. f x (ξ). La densità di probabilità della v.a. y = g(x) vale: f y (η) = m i= f x (ξ i ) g (ξ i ), (.7) dove g (ξ i ) indica la derivata di g rispetto ad ξ: g (ξ i ) = dg(ξ) dξ ξ=ξi calcolata nei punti ξ i tali che g(ξ ) = g(ξ ) =... = g(ξ m ) = η. La derivata g (ξ) va valutata in tutti i punti ξ i soluzioni dell equazione: η = g(ξ), (.8)

27 CAPITOLO. TEORIA DELLA PROBABILITÀ per y fissato. In tutti gli η per cui l equazione (.8) non ammette soluzione si ha: f y ( η) = 0. Esempio.7. Si supponga di poter rappresentare la resistenza di un resistore mediante una v.a. R uniformemente distribuita in [9Ω, Ω]. Si desidera calcolare la densità di probabilità della conduttanza G = del resistore. R Sia f G (γ) la d.d.p. incognita. Ovviamente, se γ > o γ < la d.d.p. è 9 nulla, in quanto la resistenza R può assumere solo valori compresi fra 9Ω e Ω: se f G (γ) = γ 9 0 se γ < o γ > 9 Procediamo al calcolo di, utilizzando il Teorema. Nel caso in esame, la funzione g( ) vale g(ξ) =. Quindi, fissato γ [, ], l equazione (.8) ξ 9 γ = g(ξ) ammette un unica soluzione ξ =. Derivando, si ha γ g ( γ ) = dg(ξ) dξ ξ= γ = ξ ξ= γ = γ. Poiché γ [, ], sarà ξ [9, ], per cui f 9 R (x) =. Allora: ( ) f R γ = g ( = ) γ. γ Quindi f G (γ) = γ se γ 9 0 se γ < o γ > 9

28 .6. FUNZIONI DI UNA O PIÙ VARIABILI ALEATORIE 3 Consideriamo, ora, funzioni deterministiche di più v.a. Ad esempio, supponiamo di voler calcolare la d.d.p. della somma di due v.a. z = x + y. Nota la f x,y (ξ, η), si desidera calcolare la f z (ζ). Ricordando la definizione di funzione di distribuzione di probabilità, fissato ζ IR si ha: F z (ζ) = P (z ζ) = P (x + y ζ). (.9) Sfruttando la Proprietà (.9), la (.9) diventa (v. Figura.5): F z (ζ) = + ζ η f x,y (ξ, η) dξdη. (.0) Infine, derivando la (.0) rispetto a ζ si ottiene proprio la f z (ζ): f z (ζ) = + f x,y (ζ η, η) dη. (.) η PSfrag replacements ξ + η ζ ξ Figura.5: Dominio di integrazione della (.0) per ζ fissato. Nel caso (notevole) in cui le v.a. x e y siano statisticamente indipendenti (cioè f x,y (ξ, η) = f x (ξ) f y (η)), la (.) diventa: f z (ζ) = + f x (ζ η) f y (η) dη = f x (ξ) f y (η). (.) Il risultato (.) stabilisce che la densità di probabilità della somma di due v.a. indipendenti è data dalla convoluzione delle singole densità di probabilità. Vediamo ora come si generalizza il Teorema al caso di funzioni di variabili aleatorie vettoriali.

29 4 CAPITOLO. TEORIA DELLA PROBABILITÀ Teorema. Sia x IR n una v.a. con d.d.p. f x (ξ) e sia g : IR n IR n una funzione deterministica. La densità di probabilità della v.a. y IR n, y = g(x) vale: f y (η) = m i= f x (ξ i ) J(ξ i ), (.3) dove J(ξ i ) indica il determinante dello Jacobiano di g rispetto a ξ: J(ξ i ) = det g(ξ) ξ ξ=ξi calcolato nei punti ξ i tali che g(ξ ) = g(ξ ) =... = g(ξ m ) = η. Lo Jacobiano J(ξ i ) va valutato in tutti i punti ξ i soluzioni dell equazione: η = g(ξ) (.4) per y fissato. In tutti gli η per cui l equazione (.4) non ammette soluzione si ha f y ( η) = 0. Esempio.8. Vogliamo mostrare che una combinazione lineare di v.a. congiuntamente gaussiane è ancora una v.a. gaussiana (v. Proprietà 3 a pag. 8). Per questo, sia x = [x, x,..., x n ] T una v.a. vettoriale gaussiana con media m x e matrice di covarianza P x. Consideriamo la nuova v.a. y IR n ottenuta dalla x di partenza attraverso una trasformazione lineare invertibile: y = Ax, dove A denota una generica matrice n n invertibile. Per il calcolo di f y (η) utilizziamo il risultato del Teorema. Nel caso in esame, la funzione g( ) vale: g(x) = Ax.

30 .6. FUNZIONI DI UNA O PIÙ VARIABILI ALEATORIE 5 Fissato η IR n, l equazione (.4) diventa: η = Aξ, e, dal momento che la matrice A è invertibile, ammette un unica soluzione ξ = A η. Inoltre, lo Jacobiano della g(ξ) è costante (non dipende dal particolare valore ξ) e vale: Utilizzando la (.3), si ottiene: g(ξ) ξ = A. f y (η) = f x (A η). (.5) det A Poiché x è congiuntamente gaussiana, la sua d.d.p. vale (v. equazione (.6)): f x (ξ) = (π) n/ (det P x ) e (ξ mx)t P / Sostituendo ξ = A η nella (.6), la (.5) diventa: f y (η) = Utilizzando l identità: (π) n/ (det P x ) / det A e (A η m x) T P A η m x = A (η Am x ), x (ξ m x). (.6) x (A η m x). (.7) l argomento della funzione esponenziale nella (.7) può essere riscritto come: (A η m x ) T Px (A η m x ) = [ A (η Am x ) ] T P x A (η Am x ) [] = (η Am x) T A T Px A (η Am x ) [] = (η m y) T A T P x A (η m y ) [3] = (η m y) T P (η m y), y (.8) dove con A T si è indicata la trasposta dell inversa (A ) T. L uguaglianza [] discende dalla proprietà dell operatore di trasposizione (BC) T = C T B T (con B e C matrici di dimensioni opportune), la [] si ottiene ponendo: m y = Am x, (.9)

31 6 CAPITOLO. TEORIA DELLA PROBABILITÀ mentre la [3] deriva dall assegnazione: P y = AP x A T, (.30) e ricordando che (BCD) = D C B (se B, C, D sono matrici quadrate invertibili di dimensioni opportune). Inoltre, notiamo che: dal momento che det A = det A T (.8)-(.3) nella (.7) si ha: f y (η) = (det P y ) / = (det A det P x det A T ) / [] = ( (det A) det P x ) / = det A (det P x ) / (.3) (π) n/ (det P y ) (uguaglianza []). Infine, sostituendo le e (η my)t P / y (η m y). (.3) Quindi, la v.a. y è a sua volta gaussiana, con valor medio m y e matrice di covarianza P y date dalle (.9)-(.30)..7 Distribuzioni condizionali Vogliamo estendere il concetto di probabilità condizionata fra eventi (v. Definizione.3) alle variabili aleatorie. Per questo, siano date due v.a. x e y con densità di probabilità congiunta f x,y (ξ, η). Supponendo che la variabile aleatoria y abbia assunto un certo valore η, come si modifica la densità di probabilità della x? A tale scopo, si considerino i due eventi (v. Figura.6): A = {x ξ}, B = {η y η + dη}. Ricordando il significato della funzione di distribuzione (v. Definizione.8), dalla (.5) si ha: P (A B) = F x,y (ξ, η + dη) F x,y (ξ, η) F y (η + dη) F y (η) = [ dividendo numeratore e denominatore per dη] = (F x,y (ξ, η + dη) F x,y (ξ, η)) /dη. (F y (η + dη) F y (η))/dη (.33)

32 .7. DISTRIBUZIONI CONDIZIONALI 7 PSfrag replacements y η + dη η ξ x Figura.6: La P (A B) è pari alla probabilità che (x, y) appartenga alla zona in grigio. Lasciando tendere dη 0: P (A B) = [] = F η x,y (ξ, η) f y (η) ξ f x,y (x, η) dx ξ [] = f y (η) f x,y (x, η) dx, f y (η) (.34) ottenuta derivando rispetto a η la relazione (.8) (uguaglianza []) e portando f y (η) dentro l integrale (uguaglianza []). Si noti che, quando dη 0, l evento B diviene B = {y = η}. Allora, la P (A B) non è altro che la probabilità che x ξ, noto che y = η. Per cui, dalla definizione di funzione di distribuzione (Definizione.5), possiamo scrivere P (A B) = F x (ξ y = η). Quindi, dalla (.34): F x (ξ y = η) = ξ f x,y (x, η) dx. (.35) f y (η) Derivando ambo i membri della (.35) rispetto a ξ, otteniamo la densità di probabilità di x condizionata a y: f x y (ξ η) = f x,y (ξ, η). (.36) f y (η) La (.36) è anche nota come formula di Bayes, e descrive come si modifica la densità di probabilità di una v.a. x quando si sia osservato l esito η per il fenomeno incerto rappresentato dalla v.a. y.

33 8 CAPITOLO. TEORIA DELLA PROBABILITÀ Se x e y sono due v.a. indipendenti, allora: f x y (ξ η) = f x (ξ). (.37) Cioè, il fatto che la v.a. y abbia assunto un certo valore non modifica la densità di probabilità a priori della x. Alcune volte, l indipendenza statistica fra due v.a. viene definita proprio con la relazione (.37). Si noti che, dalla formula di Bayes f x,y (ξ, η) = f x y (ξ η) f y (η). Per cui, dalla (.0) deriva immediatamente: f x (ξ) = + f x y (ξ η) f y (η) dη. (.38) La (.38) rappresenta l estensione del Teorema della probabilità totale al caso di variabili aleatorie continue. Supponiamo, ora, di aver osservato y = η, per una certa v.a y. Sia nota la f x,y (ξ, η). Quanto valgono il valor atteso e la varianza di x? Per tale calcolo, applichiamo le definizioni (.3)-(.5), avendo cura di sostituire la d.d.p. a priori f x (ξ) con la d.d.p. condizionata f x y (ξ η): m x y = + ξf x y (ξ η) dξ (.39) + σx y = (ξ m x y ) f x y (ξ η) dξ (.40) Le (.39)-(.40) prendono il nome di valor medio condizionato (o media condizionata) e varianza condizionata, rispettivamente. Si noti che sia la media che la varianza condizionata sono funzioni del particolare valore η assunto dalla v.a. y. Per cui, ad esempio, il simbolo m x y va inteso nel senso di E [x y = η]. Per brevità, la dipendenza da η, sarà spesso omessa. Nel caso in cui la x sia una v.a. vettoriale, la (.40) va opportunamente modificata sostituendo ( ) con ( )( ) T di covarianza condizionata P x y. (v. Definizione.8), ottenendo cosí la matrice Esempio.9. Siano x e x due v.a. congiuntamente gaussiane con media nulla e matrice di covarianza R: [ ] [ ] [ ] [ ] x 0 x x x σ E =, R = E = rσ σ, x 0 x x x rσ σ σ

34 .7. DISTRIBUZIONI CONDIZIONALI 9 con r <. Si consideri il cambio di variabile x = x rσ σ x. Allora: ] [ x = x [ rσ σ σ 0 σ ] [ ] x. Dal momento che x, x sono congiuntamente gaussiane, anche x e x sono congiuntamente gaussiane (v. Esempio.8). Calcoliamo: [( E [ x x ] = E x rσ ) ] σ x σ x [] x = E [x x ] rσ σ E [x x ] [] σ = rσ σ rσ σ σ = 0, σ (.4) in cui si è utilizzata (uguaglianza []) la proprietà di linearità dell operatore di valore atteso (v. equazione (.4)) e la definizione della matrice di covarianza R (uguaglianza []). Quindi le v.a. x e x sono incorrelate (v. Definizione.6). Ma, poichè sono anche congiuntamente gaussiane, questo equivale a dire che esse sono indipendenti (v. Proprietà 4 a pag. 8). Allora, dalla Definizione.0 di indipendenza: Dal Teorema (v. anche Esempio.8): dal momento che: Allora: f x,x ( x, x ) = f x ( x ) f x (x ). (.4) ) f x,x ( x + rσ σ x σ f x,x ( x, x ) =, x, (.43) det f x x (x x ) [] = f x,x (x, x ) f x (x ) ( [3] = f x [ ] rσ σ σ =. 0 [] = x rσ σ σ ) f xx (x rσ σ x σ, x f x (x ) x ), (.44)

35 30 CAPITOLO. TEORIA DELLA PROBABILITÀ in cui [] è la formula di Bayes, [] deriva dalla (.43) ponendo x = x + rσ σ x σ e la [3] si ottiene sfruttando l indipendenza (.4). Dal momento che x è combinazione lineare di v.a. congiuntamente gaussiane, la sua d.d.p è ancora gaussiana, con: e m x = E [ x ] = E [x ] rσ σ E [x σ ] = 0, σ x = E [ x [ ( ] = E x rσ ) ] σ x σ [] = E [ x ] + rσ σ σ 4 E [ x ] rσ σ E [x σ x ] [] = σ + r σ r σ = σ ( r ). La [] è dovuta alla linearità dell operatore di valore atteso, e la [] si ottiene notando che E [x ] = σ, E [x ] = σ e E [x x ] = rσ σ (v la matrice di covarianza R). Quindi: f x ( x ) = e πσ x x σ x. La (.44) ci dice che la f x x (x x ) è proprio uguale alla f x ( x ), calcolata in x = x rσ σ. Per cui: σ f x x (x x ) = π( r )σ e ( ) x rσ σ σ x σ ( r ). (.45) Quindi, la d.d.p di x condizionata a x è ancora gaussiana. Inoltre, confrontando la (.45) con l espressione di una generica v.a. equazione (.7))), si verifica immediatamente che: m x x = rσ σ x σ ; σ x x = σ ( r ). Si noti che la precedente espressione di m x x x siano entrambe a media nulla. gaussiana (v. vale solo nel caso in cui x e

36 .8. ESERCIZI 3 Il risultato ottenuto nell esempio precedente può essere generalizzato al caso vettoriale e media non nulla. Teorema 3. Siano x e x due v.a. vettoriali congiuntamente gaussiane. Posto x = [x x ] T, siano: con R > 0. Allora: E [x] = [ m m ] [ ] R R, P x = 0, R T R m x x = m + R R (x m ); (.46) P x x = R R R RT. (.47) Si noti che la condizione R > 0 serve a garantire l invertibilità della R. L osservazione del valore x per la v.a. x sposta il valor medio di x e ne riduce l incertezza. Infatti, poiché vale R R R R T 0 (regola di Schur), allora P x x = R R R RT R, cioè la varianza della v.a. x dopo l osservazione del valore assunto da x è minore di (o tutt al più uguale a) quella iniziale. Infine, P x x = R solo nel caso in cui R = 0, cioè quando le due v.a. sono incorrelate e, poichè gaussiane, indipendenti..8 Esercizi.. Sia x una v.a. uniformemente distribuita nell intervallo [ T, T ]. Dopo aver calcolato il valor medio m x e la varianza σx di x, si utilizzi il comando rand di Matlab R per generare un vettore x contenente N valori estratti dalla precedente distribuzione, con T = 6. Si confronti il valor medio teorico m x con la media aritmetica m y del vettore x: m x = sum(x)/n

37 3 CAPITOLO. TEORIA DELLA PROBABILITÀ al variare di N = 0, 00, Dopo aver verificato che la f x,y (ξ, η) dell Esempio.6 sia effettivamente una densità di probabilità congiunta (vale a dire che essa soddisfi le Proprietà e di pag. 3), si calcoli il valor medio e la matrice di covarianza del vettore [x, y] T..3. Sia x = [x, x, x 3 ] T una v.a. in IR 3, con densità di probabilità: f x (x, x, x 3 ) = x + 3 x + x3 3 se 0 x i, i =,, 3 0 altrimenti Dopo aver verificato che f x (x, x, x 3 ) rappresenta una d.d.p. valor medio e la matrice di covarianza di x. si calcoli il.4. Sia x una v.a. scalare gaussiana: f x (ξ) = e (ξ mx) σx σ x > 0, m x IR. πσx - Verificare che il valor medio e la varianza di x valgono m x e σx, rispettivamente, sapendo che: + e x dx = π. - Si utilizzi il comando randn di Matlab R per generare un vettore x contenente N valori estratti dalla precedente distribuzione, con m x = 0 e σx = e si confronti il valor medio teorico m x con la media aritmetica m x del vettore x: m x = N N x(i) i= al variare di N =,,..., Dimostrare che se x e y sono due v.a. gaussiane ed incorrelate, allora esse sono anche indipendenti.

38 .8. ESERCIZI Sia x una v.a. gaussiana scalare, con valor medio m x e varianza σ x. Verificare che la v.a. = ax + b, con a, b IR, è ancora una v.a. gaussiana, con valor medio m y = am x + b e varianza y = a σ x..7. Una v.a. x avente d.d.p. λe λx se x 0 f x (x) = 0 se x < 0 con λ > 0, si dice esponenzialmente distribuita. Verificare che il valor medio m x = λ e la varianza σ x = λ..8. Sia la tensione V, ai capi di una resistenza R = 0Ω, assimilabile ad una v.a. uniformemente distribuita nell intervallo [5V, 0V ]. Calcolare la densità di probabilità della potenza W = R V dissipata dalla resistenza..9. Siano x e y due v.a. aventi densità di probabilità f x,y (x, y). Calcolare la densità di probabilità della v.a. z = x y..0. Siano x i, i =,..., n variabili aleatorie indipendenti e uniformemente distribuite nell intervallo [ T, T ]. Calcolare la densità di probabilità della v.a. y n = n x i, n per:. n = ;. n = 3. Confrontare le f yn (y) ottenute con la densità gaussiana di media m = 0 e varianza σ = T. n.. Si supponga di voler misurare una grandezza incognita, assimilabile ad una v.a x, mediante un sensore. Sia i= y = x + v

39 34 CAPITOLO. TEORIA DELLA PROBABILITÀ l equazione della misura, in cui la v.a. y rappresenta la lettura fornita dallo strumento, mentre la v.a. v modella il rumore additivo introdotto dallo strumento. Sotto le ipotesi che x e v siano v.a. gaussiane, indipendenti, x N(m x, σ x), v N(0, σ v), calcolare il valor medio m x y e la varianza σ x y condizionati. Vale a dire, calcolare la media e la varianza della v.a. x se la lettura rilevata sensore vale y = y. Inoltre, confrontare media e varianza condizionate con i corrispondenti valori m x e σ x a priori (cioè, prima di effettuare la misura). Interpretare il risultato ottenuto in termini del rapporto segnale/rumore, definito come SNR = σ x. σv

40 Capitolo Teoria della stima In questo capitolo vengono presentati alcuni elementi di base della teoria della stima. In un problema di stima, l obiettivo è quello di determinare il valore di una grandezza incognita, sulla base di informazioni relative ad altre grandezze ad essa legate. In funzione del tipo di informazione a priori disponibile sulla grandezza incognita da stimare, si distinguono due possibili scenari: Stima parametrica; Stima Bayesiana. Alla stima parametrica sono dedicati i paragrafi.-.4, mentre il paragrafo.5 è dedicato all approccio Bayesiano.. Stima parametrica In un contesto di stima parametrica, ci si propone di stimare il valore di una grandezza deterministica θ sulla base di un certo numero di osservazioni, y,... y n... Formulazione del problema. Siano: 35

41 36 CAPITOLO. TEORIA DELLA STIMA - θ Θ IR p, un vettore incognito di parametri; - y = (y,... y n ) T Y IR n un vettore aleatorio di osservazioni (o misure); - Fy θ (y), f y θ (y) le funzioni di distribuzione e densità di probabilità del vettore delle osservazioni y, dipendenti dal vettore incognito θ. L insieme Θ, in cui assume valori il vettore dei parametri θ, prende il nome di spazio dei parametri. Esso rappresenta tutta l informazione a priori disponibile sui possibili valori del vettore θ. Nel caso limite in cui nulla sia noto circa i valori ammissibili dei parametri, Θ = IR p. L insieme Y, in cui assume valori il vettore delle osservazioni y, prende il nome di spazio delle osservazioni. Si assume che la distribuzione Fy θ (y) (o, equivalentemente, la densità fy θ (y)) delle osservazioni abbia forma funzionale nota, ma dipenda da un certo numero di parametri incogniti (il vettore θ). Terminologia. D ora in avanti, con il termine parametro si indicherà la grandezza incognita da stimare θ, anche nel caso in cui essa sia una grandezza vettoriale. Un problema di stima parametrica può essere formulato nel seguente modo. Stimare il parametro incognito θ Θ, sulla base di un osservazione y della variabile aleatoria y Y. Definizione.. Uno stimatore T del parametro incognito θ è una funzione che mappa lo spazio delle osservazioni nello spazio dei parametri: T : Y Θ. Il valore ˆθ = T (y), assunto dallo stimatore in corrispondenza dell osservazione y = y, prende il nome di stima di θ. Uno stimatore T ( ), quindi, definisce una regola in base alla quale, se si osserva la realizzazione y per il vettore delle misure y, si stima θ con la quantità ˆθ = T (y).

42 .. STIMA PARAMETRICA 37 Si noti che ˆθ può essere vista come una realizzazione della variabile aleatoria T (y); in altre parole, poiché T (y) è una funzione della v.a. y, la stima ˆθ è essa stessa una variabile aleatoria... Proprietà di uno stimatore Ovviamente, in base alla Definizione., la classe dei possibili stimatori è infinita. Per caratterizzare, quindi, la bontà di uno stimatore è utile introdurre alcune proprietà che lo caratterizzano. Correttezza Innanzitutto, sarebbe desiderabile che il valore ˆθ = T (y) fornito da uno stimatore T ( ) coincidesse con il valore vero del parametro, θ. Dal momento che la stima ˆθ è una v.a., è ragionevole richiedere che questo accada in media. Definizione.. Uno stimatore T (y) del parametro θ si dice corretto (o, non polarizzato) se E θ [T (y)] = θ, θ Θ. (.) Nella precedente definizione si è evidenziata la dipendenza del valore atteso di T (y) dal parametro incognito θ, dal momento che la d.d.p. di y dipende, per ipotesi, da θ stesso. La condizione (.) di non polarizzazione assicura che, in media, lo stimatore T non ha errori sistematici. Vale a dire, T non sovrastima né sottostima il parametro θ, in media (v. Figura.). Esempio.. Siano y,..., y n variabili aleatorie identicamente distribuite (i.d.) con valor medio m. La quantità: y = n n y i (.) i= prende il nome di media campionaria. È immediato verificare che y è uno stimatore non polarizzato di m. Infatti, per la linearità dell operatore di

43 38 CAPITOLO. TEORIA DELLA STIMA polarizzato corretto PSfrag replacements θ Figura.: polarizzato. Densità di probabilità di uno stimatore corretto e di uno valore atteso, si ha: E [y] = E [ n ] n y i = n i= n E [y i ] = n i= n m = m. i= Esempio.. Siano y,..., y n variabili aleatorie scalari, indipendenti, identicamente distribuite (i.i.d.) con valor medio m e varianza σ. La quantità: ˆσ y = n n (y i y) è uno stimatore polarizzato della varianza σ. Infatti, dalla (.), si ha: E [ˆσ ( ) ] y n = E y n i n y n j i= j= ( ) = n n n n E ny i y j i= j= ( ) = n n n n E n(y i m) (y j m). i= i= j=

44 .. STIMA PARAMETRICA 39 Ma: ( E n(y i m) ) n (y j m) = n E [ (y i m) ] j= [ ] ( n n ) ne (y i m) (y j m) + E (y j m) j= j= = n σ nσ + nσ = n(n )σ poiché, per l ipotesi di indipendenza, E [ (y i m)(y j m) ] = 0 se i j. Quindi: E [ˆσ ] y = n n i= n n(n )σ = n n σ σ. Esempio.3. Siano y,..., y n variabili aleatorie scalari, indipendenti, identicamente distribuite (i.i.d.) con valor medio m e varianza σ. La quantità: S = (n ) n (y i y) i= prende il nome di varianza campionaria. È immediato verificare che S è uno stimatore non polarizzato della varianza σ. Infatti, notando che: segue immediatamente che: E [ S ] = S = n n ˆσ y, n n E [ˆσ ] y n n = n n σ = σ. Si noti che, se T ( ) è uno stimatore non polarizzato di θ, allora g(t ( )) non è uno stimatore non polarizzato di g(θ), a meno che g( ) non sia una funzione lineare.

45 40 CAPITOLO. TEORIA DELLA STIMA Consistenza Un altra proprietà desiderabile di uno stimatore è che questo fornisca una stima che si avvicina sempre più al vettore vero di parametri θ, al crescere del numero di misure. Definizione.3. Sia {y i } i= una successione di v.a. La successione di stimatori T n = T (y,..., y n ) si dice consistente per il parametro θ se T n converge a θ in probabilità, per ogni θ. Cioè, se: lim P ( T n θ > ε) = 0, ε > 0, θ Θ. n n = 500 PSfrag replacements n = 0 n = 00 n = 50 θ Figura.: Densità di probabilità di uno stimatore consistente. Si noti che la consistenza è una proprietà asintotica di uno stimatore. Essa garantisce che, al tendere all infinito del numero di misure, la probabilità che la stima fornita sia diversa dal valore vero tende a zero (v. Figura.). Il seguente Teorema fornisce una condizione sufficiente per la consistenza di una sequenza di stimatori. Teorema 4. Sia T n una sequenza di stimatori corretti del parametro scalare θ: E [T n ] = θ, n, θ Θ.

46 .. STIMA PARAMETRICA 4 Se: allora la sequenza T n è consistente. lim E [ (T n θ) ] = 0, n Quindi, affinché una sequenza di stimatori non polarizzati sia consistente è sufficiente che la varianza delle stime tenda a zero, al crescere del numero di misure. Esempio.4. Siano y,..., y n variabili aleatorie indipendenti e identicamente distribuite (i.i.d.) con valor medio m e varianza σ. Nell Esempio. si è visto come la media campionaria: n y = n i= y i sia uno stimatore non polarizzato della media m. Mostriamo, ora, che essa è anche uno stimatore consistente per m. Infatti, la varianza della stima vale: Var(y) = E [ ( ) (y m) ] = E n y n i m i= ( n ) = n E (y i m) = σ n dal momento che le v.a. y i sono indipendenti. Quindi: i= Var(y) = σ n 0 per n e, in virtù del Teorema 4, la media campionaria y risulta essere uno stimatore consistente per il valor medio m. Errore quadratico medio Una misura della bontà della stima fornita da uno stimatore è l errore quadratico medio.

47 4 CAPITOLO. TEORIA DELLA STIMA Definizione.4. Si definisce errore quadratico medio la quantità: E [ θ (T (y) θ) ] Si osservi che, se uno stimatore è corretto, allora l errore quadratico medio coincide con la varianza della stima. Definizione.5. Siano T ( ) e T ( ) due stimatori del parametro θ. Allora, T ( ) si dice preferibile a T ( ) se: E θ [ (T (y) θ) ] E θ [ (T (y) θ) ], θ Θ La precedente definizione, in maniera del tutto naturale, afferma che fra due stimatori è preferibile utilizzare quello con errore quadratico medio minore...3 Stima non polarizzata a minima varianza Nel seguito, restringendo la nostra attenzione alla classe degli stimatori corretti, andremo alla ricerca di quello, se esiste, con minima varianza. Definizione.6. Uno stimatore corretto T ( ) del parametro scalare θ è detto a minima varianza (o UMVUE, Uniformly Minimum Variance Unbiased Estimator) se: E [ θ (T (y) θ) ] E [ θ (T (y) θ) ], θ Θ (.3) per ogni stimatore corretto T ( ) di θ. Si noti che, affinché uno stimatore sia UMVUE, occorre che: sia non polarizzato (Unbiased); abbia la varianza minore, fra tutti gli stimatori non polarizzati (Minimum Variance); la precedente condizione valga per qualunque valore del parametro θ (Uniformly).

48 .. STIMA PARAMETRICA 43 Sfortunatamente, esistono numerosi problemi per cui non esiste lo stimatore UMV UE. Per tale motivo, spesso si ricorre a classi più ristrette di stimatori. Si consideri la classe degli stimatori lineari, ossia del tipo: T (y) = con a i IR. n a i y i, (.4) Definizione.7. Uno stimatore lineare corretto T ( ) del parametro scalare θ viene detto BLUE (Best Linear Unbiased Estimator) se: i= E θ [ (T (y) θ) ] E θ [ (T (y) θ) ], θ Θ per ogni stimatore lineare corretto T ( ) di θ. A differenza dello stimatore UMVUE, lo stimatore BLUE ha una forma semplice e fissata (si tratta solo di determinare i coefficienti ottimi a i ), per cui il suo calcolo risulta molto più agevole. Esempio.5. Siano y i variabili aleatorie indipendenti, con media m e varianza σi, i =,..., n. Si desidera calcolare lo stimatore BLUE di m. Dal momento che lo stimatore deve essere lineare esso avrà la forma descritta nell eq. (.4). Affinché T ( ) sia non polarizzato, occorre che sia: E θ [T (y)] = E θ [ n i= a i y i ] = n a i E θ [y i ] = m i= n a i = m i= Per cui, occorre che sia: n a i = (.5) i= Ora, tra tutti gli stimatori della forma (.4), con i coefficienti a i che verificano la (.5), occorre determinare quello a minima varianza. Dal momento che le osservazioni y i sono indipendenti, la varianza di T (y) vale: E [ ( n ) θ (T (y) m) ] n = E θ a i y i m = a i σi. i= i=