Teoria dei Segnali 1

Formulario di Teoria dei Segnali 1 Parte 2: Teoria della Probabilità 1 This documentation was prepared with LATEX by Massimo Barbagallo

formulario di teoria dei segnali 1 Teoria della probabilità Denizioni di probabilità Denizione frequentistica n A P A lim n n dove n A é il numero di volte che si é vericato l'evento A, mentre n é il numero totale di prove. Tale legge viene anche detta assioma zero. Denizione assiomatica 1 P A 0 2 P S 1 dove S é l'evento certo 3 P A B P A + P B se A B Denizione secondo Laplace Consideriamo lo spazio campione S {E 1, E 2,..., E NS } costituito da N S eventi elementari equiprobabili. Allora, se l'evento A é così definito: AE 1 E 2... E NA, si ha: P A N S N A Prime proprietà P 0 P A 1 P A dove A A é il complementare di A B A P B P A A S 0 P A P S 1 Siano A 1, A 2,..., A n allora si ha: n eventi disgiunti, consideriamo l'evento A A 1 A 2... A n P A P A 1 + P A 2 +... + P A n P A B P A + P B P A B Spazio campione continuo Uno spazio campione continuo è uniforme se P A m A, dove con m indico la misura. m S Per uno spazio continuo puó succedere che A e P A 0; ció accade se l'evento A ha misura nulla. Da ció segue che P B 1 non implica necessariamente B S.

formulario di teoria dei segnali 2 Altre definizioni probabilitá marginale Dato un evento A S la probabilitá marginale di A é la quantitá P A probabilitá congiunta Presi due eventi A, B S, si denisce probabilitá congiunta la quantitá P A, B P A B. Banalmente si ha P A, B P B, A probabilitá condizionata Si dice probabilitá condizionata di un evento A dato per certo un evento B la probabilitá : P A B P A, B P B. Spesso si usa la notazione P B A P A B. Valgono tutte le proprietá viste in precedenza, cioé : P S 1 P B B 1 P A B 1 P A B Statistica indipendenza Due eventi A, B S si dicono statisticamente indipententi brevemente s.i. se P A B P A. Affinché ciò accada deve essere vericata la relazione P A, BP A P B. Teorema delle probabilitá totali Siano A i S eventi esaustivi e disgiunti, ossia A i S e A i A j con i j. i Sia inoltre B S, allora si ha: P B i P B, A i i P B A i P A i Teorema di Bayes Siano A i S eventi esaustivi e disgiunti, inoltre B S allora si ha: P A i B P B A i P A i P B Sfruttando il teorema delle probabilitá totali, si ha: P A i B P B A i P A i P B A j P A j j Il teorema di Bayes mi consente di passare dalla probabilitá a posteriori P A i B alla probabilitá a priori P B A i.

formulario di teoria dei segnali 3 Combinazione di esperimenti Abbiamo k esperimenti anche di tipo diverso, ognuno con il suo spazio campione S k. Consideriamo l'esperimento ε, composto da tali esperimenti; allora un risultato per ε é la k upla x 1, x 2,..., x k. La probabilitá dell'evento x 1, x 2,..., x k é: P x 1, x 2,..., x k P 1 x 1 P 2 x1 x 2 P 3 x1,x 2 x 3... P k x1,x 2,...,x k 1 x k dove, ad esempio, P 2 x1 x 2 é la probabilitá dell'evento x 2 in uno spazio campione S 2 x 1, cioé condizionato dal verificarsi di x 1 in S 1. Se gli esperimenti che costituiscono ε sono s.i. allora si ha: P x 1, x 2,..., x k P 1 x 1 P 2 x 2 P 3 x 3... P k x k Calcolo combinatorio permutazioni semplici P n n! permutazioni con ripetizione P k 1,k 2,...,k m n n! k 1! k 2!... k m! con k 1 +k 2 +... +k m n disposizioni semplici D n;k n n 1 n 2... n k + 1 }{{} k fattori n! n k! con k n disposizioni con ripetizione D n;k n } n {{... n} n k k volte combinazioni semplici C n;k D n;k P k n! n k! k! n k con k n, avendo posto: n n! k n k! k! coefficente binomiale combinazioni con ripetizione C n;k P n 1,k n+k 1 n + k 1! n 1! k! n + k 1 k

formulario di teoria dei segnali 4 Proprietá delle combinazioni semplici n n C n;k C n;n k k n k n C n;k C n 1;k + C n 1;k 1 k Formula del Binomio di Newton x + a n x a n n n a k x n k k n n 1 k a k x n k k k0 k0 Variabili casuali o aleatorie n 1 + k n 1 k 1 Definizione La variabile aleatoria brevemente v.a. é una funzione denita nello spazio campione S e a valori in R, cioé: ξ : S R I valori che ξ puó assumere sono aleatori perché dipendono dal risultato di un esperimento. Di solito si omette la dipendenza dal risultato s i dell'esperimento, cioé scriviamo ξ x i piuttosto che ξ s i x i. La v.a. puó essere continua, discreta o mista. Vi é una corrispondenza tra i valori assunti da ξ e i risultati dell'esperimento, cioé si ha: P s i P ξ s i. Piú in generale, si ha: P A P ξ I con I {x i ξ s i s i A} Funzione distribuzione di probabilitá Definizione Data una v.a. ξ, definiamo la funzione distribuzione di probabilitá cumulativa della ξ nel modo seguente: F ξ x P ξ x la conoscenza di F ξ x mi consente di caratterizzare statisticamente la mia v.a. Proprietá 0 F ξ x 1 lim x + F ξx F ξ + 1 lim x F ξx F ξ 0

formulario di teoria dei segnali 5 x 2 > x 1 F ξ x 2 F ξ x 1 F ξ x lim h 0 F ξ x + h é continua da destra P ξ x lim ɛ 0 P x ɛ < ξ x lim ɛ 0 [F ξ x F ξ x ɛ] P x 1 < ξ x 2 F ξ x 2 F ξ x 1 Per una v.a. ξ discreta si ha: { 0 se ξ é una v.a. continua 0 se ξ é una v.a. discreta F ξ x i P ξ x i ux x i quindi si tratta di una funzione a gradini discontinua. Per una v.a. continua la F ξ x é una funzione continua, mentre per una v.a. mista la F ξ x é continua quasi ovunque. Funzione densitá di probabilitá Definizione Una descrizione statistica della v.a. ξ é data anche dalla funzione densitá di probabilitá f ξ x della ξ, denita come segue: f ξ x d F ξx d x Proprietá f ξ x 0 F ξ x x x R f ξ x d x P x 1 < ξ x 2 F ξ x 2 F ξ x 1 x2 x 1 f ξ x d x f ξ x d x 1 é identica alla condizione di normalizzazione k P ξ x k 1, valida nel discreto. Questa proprietá si spiega considerando la stessa denizione della f ξ x: F ξ x + x f ξ x f ξ x lim x 0 x P x < ξ x + x lim x 0 x quindi la quantitá f ξ x x con x piccolo non é altro che la probabilitá che ξ assuma valori appartenenti ad un piccolo intorno di x. Per una v.a. discreta la f ξ x avrá la seguente forma: f ξ x k P ξ x k δx x k quindi essa é costituita da impulsi di Dirac.

formulario di teoria dei segnali 6 Esempio 1 Consideriamo una v.a. [a, b]. Tale v.a. é continua e si ha: F ξ x 0 x < a x a b a a x b 1 x > b ξ continua ed uniformemente distribuita nell'intervallo f ξ x 0 x < a 1 b a a x b 0 x > b É importante notare che gli eventi x i tali che f ξ x i 0 sono impossibili! Esperimenti combinati Prove di Bernoulli Sono le ripetizioni nelle medesime condizioni s.i. di uno stesso esperimento suscettibile di due soli risultati: successo S e fallimento F. La distribuzione di probabilitá é: P k successi su n prove n k p k q n k con p P S e q 1 p P F questa é la distribuzione di Bernoulli o binomiale; il massimo si ha per k [n + 1 p]. Prove di Bernoulli generalizzate Sono le ripetizioni nelle medesime condizioni di uno stesso esperimento suscettibile di r possibili risultati α 1, α 2,..., α r. La distribuzione di probabilitá é: P k 1 risultati del tipo α 1, k 2 del tipo α 2,...,k r del tipo α r su n prove n! k 1! k 2!... k r! p k 1 1 p k r 2... p k r r con k 1 +k 2 +...+k r n e con p 1 P α 1, p 2 P α 2,..., p r P α r. Questa é la distribuzione di Bernoulli generalizzata o multinomiale Eventi di Poisson Sono degli istanti temporali scelti a caso su un asse, con densitá λ n, dove n é il numero di T punti e T é l'intervallo temporale. I punti sono in numero illimitato e quindi anche T per poter mantenere λ finito. Si prova che: P N t k λ tk e λ t k! questa é la distribuzione di Poisson. N t é il numero di eventi di Poisson che cadono nell'intervallo t. La distribuzione di Poisson verifica i seguenti assiomi: P N t 1 λ t + ω t P N t 0 1 λ t + ω t

formulario di teoria dei segnali 7 P N t k ω t con k > 1 P N t 1 1, N t 2 1 P N t 1 1 P N t 2 1 con t 1 t 2 se t é piccolo allora ω t é un infinitesimo di ordine superiore. L'ultima proprietá mi garantisce la s.i. per gli eventi che cadono su intervalli disgiunti proprietá non verificata dalla distribuzione binomiale. Distribuzione geometrica Consideriamo una sequenza illimitata di prove di Bernoulli, si ha: P 1 successo alla k sima prova q k 1 p con p P S, q 1 p P F questa é la distribuzione geometrica; l'ordine della prova in cui si verifica il successo é una v.a. discreta, essa é l'unica v.a. discreta a godere della proprietá di non memoria memory less, cioé posto S ordine della prova in cui si ha il successo, si ha: P S s + r S > s P S r ossia non si ricorda dei fallimenti precedenti. Distribuzione esponenziale Una v.a. ξ continua é distribuita in maniera esponenziale con parametro λ quando per essa si ha: F ξ x 1 e λx ux, f ξ x λ e λx ux questa é l'unica v.a. continua a godere della proprietá di non memoria. Si puó provare che entrambe le v.a. tempo di interarrivo fra due eventi di Poisson e tempo di attesa fra un istante qualunque e il prossimo evento di Poisson sono distribuite in maniera esponenziale e come parametro hanno la densitá λ. Proprietá di non memoria Una v.a. ξ gode della proprietá di non memoria se vale la relazione: P ξ s + r ξ > r P ξ s Partendo da tale proprietá si prova che l'unica legge di probabilitá che la verifica nel continuo é l'esponenziale unilatera, cioé trovo: f ξ s f ξ 0 e f ξ0 s s > 0 Questo tipo di v.a. serve per modellare sistemi fisicamente instabili.

formulario di teoria dei segnali 8 Funzioni di una variabile aleatoria Consideriamo una v.a. continua ξ a partire dalla quale viene definita una nuova v.a. η mediante la relazione: η gx ove gx é una funzione di variabile reale a valori reali. Nota la f ξ x é possibile calcolare la densitá di probabilitá f η y della variabile aleatoria η. Si ha: F η y P η y P gξ y P ξ D y f ξ x d x con D y {x R : gx y} D y Esempio 2 Supponiamo che gx x 2 quadratore, allora si ha: D y [ y, y] e quindi: F η y f ξ x d x D y y y f ξ x d x F ξ y F ξ y, cioé F η y F ξ y F ξ y, f η y f ξ 1 y 2 y + f ξ 1 y 2 y caso particolare Supponiamo che gx sia monotona e continua, questo mi garantisce l'esistenza di g 1 y, allora si ha: P < ξ g 1 y F ξ g 1 y gx é crescente F η yp η yp gξ y P g 1 y < ξ + 1 F ξ g 1 y gx é decrescente derivando trovo: f ξ g 1 y f η y f ξ g 1 y d [ g 1 y ] gx é crescente dy d [ g 1 y ] gx é decrescente dy Tenendo conto del segno della d [ g 1 y ] posso scrivere: dy f η y f ξ g 1 y d [ g 1 y ] dy Esempio 3 Sia y gx a x + b, η gx allora si ha: g 1 y y b a e quindi trovo: f η y 1 a f ξ y b a

formulario di teoria dei segnali 9 Teorema Sia ξ una v.a. continua, gx una funzione continua tale che g x 0 al piú in un numero finito di punti. Sia inoltre η gx, allora si ha: f η y i f ξ x i g x i ove l'insieme {x i } é costituito da tutte le soluzioni dell'equazione gx y. A seconda del valore di y considerato {x i } puó essere un insieme vuoto nel qual caso f η y 0 o puó contenere un numero finito o infinito numerabile di punti. Se nel punto x x con y gx la derivata prima g x é nulla si hanno due casi: la trasformazione gx ha in x un massimo o un minimo relativi; se f ξ x é diverso da zero allora la f η y tenderá in y a +. oppure x I nel quale la funzione gx é costante, allora η assume il valore y gx con probabilitá P η y P x I e se tale probabilitá é non nulla la v.a. é mista. Indici statistici per una variabile aleatoria Valore atteso Per una v.a. ξ discreta possiamo definire il valore medio o valore atteso nel modo seguente il valore atteso di una v.a. ξ si indica con E{ξ} o con µ ξ : E{ξ} k x k P ξ x k cioé é una somma pesata dei valori x k assunti dalla variabile aleatoria stessa. Per v.a. continue si ha: E{ξ} xf ξ x d x tale formula é piú generale e vale anche nel caso di v.a. discrete. Se la f ξ x é simmetrica rispetto ad un asse x a, allora si puó provare che: E{ξ} x f ξ x d x a Se abbiamo una funzione di v.a. η gξ, allora il valore atteso lo possiamo calcolare nel modo seguente: E{η} y f η y d y,

formulario di teoria dei segnali 10 oppure E{η} gx f ξ x d x quest'ultima formula é piú utile perché mi consente di calcolare E{η} senza il calcolo esplicito di f η y. Se la v.a. ξ é discreta allora si puó usare la formula: E{η} k gx k P ξ x k L'operatore E{ } gode della proprietá di linearitá, cioé, date due v.a. ξ ed η, si ha: Varianza E{α ξ + β η} α E{ξ} + β E{η}. La varianza fornisce una misura di quanto i valori assunti dalla v.a. si discostano dal valor medio. Essa si indica con σ 2 ξ e, per denizione, é uguale a: σ 2 ξ E { ξ µ ξ 2} La quantitá σ ξ σξ 2 si chiama deviazione standard. Minore é la varianza e piú i valori della v.a. sono concentrati attorno al valor medio. Sfruttando la linearitá si prova: σ 2 ξ E { ξ µ ξ 2} E { ξ 2} µ 2 ξ dove la quantitá E{ξ 2 } si chiama valore quadratico medio. Distribuzione gaussiana Una v.a. ξ si dice con distribuzione gaussiana quando: f ξ x 1 2 x µ exp 2πσ 2σ 2 Il valor medio e la varianza di questa v.a. sono: E{ξ} µ σ 2 ξ σ 2 La funzione distribuzione di probabilitá cumulativa per tale v.a. é: F ξ x 1 [ ] x µξ 1 + erf, 2 2σξ con erfy 2 y e x2 d x π 0

formulario di teoria dei segnali 11 Disuguaglianza di Chebycheff Data una v.a. ξ con valor medio µ ξ e varianza σ 2 ξ, la disuguaglianza di Chebycheff dice che: P ξ µ ξ kσ ξ 1 k 2 per k > 1 essa mi dice che piú piccola é la deviazione standard e quindi la varianza e minore é la probabilitá che la ξ assuma valori lontani dal valor medio; quindi essa é piú concentrata attorno al valor medio. Questo teorema vale per qualunque v.a. e non solo per quelle gaussiane. Momenti di ordine superiore Momenti centrali di ordine k Data una v.a. ξ si definisce momento centrale di ordine k la quantitá: { m k E ξ µ ξ k} x µ ξ k f ξ x d x applicando la proprietá di linearitá dell'operatore E{ }, si ha: { k k m k E ξ } k k k n µ ξ n 1 n µ ξ n E { ξ k n} n n n 0 n 0 Momenti di ordine k Data una v.a. ξ si definisce momento di ordine k la quantitá: µ k E { ξ k} x k f ξ x d x applicando la proprietá di linearitá dell'operatore E{ }, si ha: { { k µ k E [ξ µ + µ] k} } k E ξ µ k n µ n n n 0 Funzione caratteristica di una variabile aleatoria Data una v.a. ξ, la funzione caratteristica di tale v.a. é definita dalla relazione: C ξ u E { e juξ} e jux f ξ x d x k n 0 k µ n E {ξ µ k n} n Posto x 2πf, allora la funzione caratteristica é l'antitrasformata della funzione densitá di probabilitá, cioé: C ξ u 2πF 1 {f ξ 2πf} Derivando la C ξ u si ha: C ξu j e jux f ξ x d x F f ξ x 1 2π F{C ξu}

formulario di teoria dei segnali 12 da questa relazione si ricava: C ξ0 jµ ξ µ ξ j 1 C ξ0 Generalizzando si ha: C k ξ 0 j k µ k µ k j k C k ξ 0 Esempio 4 Consideriamo una v.a ξ uniformemente distribuita nell'intervallo [a, b], per tale variabile si ha: E{ξ} a + b 2 quindi la varianza é pari a: σ 2 ξ E { ξ 2} E{ξ} E { ξ 2} a2 + ab + b 2 2 b a 2 12 Esempio 5 Consideriamo una v.a. η con distribuzione geometrica,cioé: P η k q k 1 p per tale v.a. si ha: inoltre: E{η} 1 1 q σ 2 η E { η 2} E { η 2} La funzione caratteristica per tale v.a. é: C η u 1 q e ju 1 q e ju 3 1 + q 1 q 2 2 1 + q E{η} 1 q 2 1 1 q 2 q 1 q 2 Esempio 6 Consideriamo una v.a. η discreta con distribuzione di probabilitá di Poisson,cioé: P η k λt k e λt k! per tale v.a. si ha con t 1, cioé un intervallo di ampiezza unitaria: quindi: E{η} λ E { η 2} λ 1 + λ σ 2 η E { η 2} E{η} 2 λ La funzione caratteristica é: C η u e λeju 1 Esempio 7 Consideriamo una v.a. ξ con distribuzione gaussiana, conosciamo giá il valor medio e la varianza di tale variabile aleatoria. La funzione caratteristica é uguale a: C ξ u exp juµ ξ u 2 σξ 2 2

formulario di teoria dei segnali 13 Coppie di variabili aleatorie Consideriamo due v.a. definite nello stesso spazio campione S: ξ : S R η : S R vogliamo conoscere e caratterizzare il comportamento congiunto di tali v.a. A tal scopo definiamo la funzione distribuzione di probabilitá cumulativa congiunta per la coppia di v.a. ξ ed η: F ξη x, y P ξ x, η y Analogamente definiamo la funzione densitá di probabilitá congiunta nel modo seguente: Proprietá f ξη x, y 2 F ξη x, y. x y La funzione F ξη x, y gode delle seguenti proprietá: 0 F ξη x, y 1 F ξη +, + 1 F ξη, 0 F ξη, y 0 F ξη x, 0 F ξη +, y F η y F ξη x, + F ξ x Fissato x x si ha che F ξη x, y é monotona non decrescente, inoltre se le v.a. ξ ed η sono s.i. allora si ha: F ξη x, y F ξ x F η y Per quanto riguarda la funzione densitá congiunta, si ha: x y da cui segue: x f ξη x, y d xd y F ξη x, y f ξη x, y d xd y F ξη x, + F ξ x derivando ambo i membri rispetto a x trovo: f ξη x, y d y f ξ x. La f ξη x, y é una probabilitá su una superficie, cioé una densitá di probabilitá, si ha infatti: P x < ξ x + x, y < η y + y f ξη x, y lim x 0 x y y 0 inoltre, in maniera analoga a quanto accadeva per la f ξ x, si ha: f ξη x, y d xd y P x, y D xy D xy

formulario di teoria dei segnali 14 Variabili aleatorie condizionate da un evento P A, B Sappiamo che P A B con P B 0, allora, supposto che A {ξ x}, definiamo P B la funzione distribuzione di probabilitá cumulativa condizionata nel modo seguente: F ξ x B P ξ x B P ξ x, B. P B La funzione densitá di probabilitá condizionata é: Proprietá f ξ x B d d x F F ξ x + x B F ξ x B ξx B lim x 0 x Valgono le solite proprietá, ad esempio: f ξ x B d x 1, F ξ x B assume valori compresi fra 0 ed 1 ed é monotona non decrescente; oppure: E{η B} yf η y B d y. Possiamo estendere anche il teorema delle probabilitá totali, si ha cioé: F ξ x P ξ x i F ξ x M i P M i dove gli eventi M i sono esaustivi e disgiunti. Derivando la precedente rispetto ad x, trovo: f ξ x i f ξ x M i P M i Evento condizionante legato ad una variabile aleatoria Consideriamo il caso in cui l'evento condizionante é legato ad una variabile aleatoria, cioé B {ξ x}, in tal caso si ha: F η y ξ x P η y, ξ x P ξ x F ξηx, y F ξ x x y f ξη α, β d αd β F ξ x derivo rispetto a y e trovo: f η y ξ x d d y F ηy ξ x x f ξη α, y d α F ξ x

formulario di teoria dei segnali 15 Se l'evento condizionante é B {ξ x} e ξ é una v.a. continua allora si ha: F η y ξ x P η y ξ x lim P η y x < ξ x + x x 0 F ξη x + x, y F ξη x, y lim x 0 F ξ x + x F ξ x x F ξηx, y f ξ x y f ξη x, β d β f ξ x cioé: F η y ξ x F η ξ y x y f ξη x, β d β f ξ x derivando rispetto a y si ha: f η y ξ x f η ξ y x f ξηx, y f ξ x La funzione f η ξ y x é la funzione densitá condizionata della v.a. η rispetto all'evento {ξ x}. Se le due v.a. sono s.i. allora si ha: f η ξ y x f η y Eventi condizionati dal valore assunto da una variabile aleatoria continua Vogliamo valutare la probabilitá P A ξ x con f ξ x 0. Si ha: P A ξ x lim P P A, x < ξ x + x A x < ξ x + x lim x 0 x 0 P x < ξ x + x f ξx A P A f ξ x cioé: P A ξ x f ξx A P A f ξ x Sfruttando tale relazione posso provare la formula: P A P A ξ x f ξ x d x che estende il teorema della probabilitá totali al caso continuo. In maniera analoga si estende il teorema di Bayes: f ξ x A P A ξ x f ξ x P A ξ x f ξ x d x

formulario di teoria dei segnali 16 Funzioni di due variabili aleatorie Deniamo una nuova v.a. η come funzione di una coppia di variabili ξ 1, ξ 2 aventi densitá di probabilitá congiunta f ξ1 ξ 2 x 1, x 2 : η gξ 1, ξ 2 ove gx, y é una funzione reale di due variabili reali. La funzione distribuzione F η y della v.a. η é: F η y P η y P gξ 1, ξ 2 y f ξ1 ξ 2 x 1, x 2 d x 1 d x 2 D y { } ove D y x 1, x 2 R 2 : gx 1, x 2 y. Esempio 8 Supponiamo che η ξ 1 + ξ 2, allora si ha: f η y f ξ1 ξ 2 y x 2, x 2 d x 2 Se le due v.a. ξ 1 e ξ 2 sono indipendenti, cioé f ξ1 ξ 2 x 1, x 2 f ξ1 x 1 f ξ2 x 2, allora si ha: f η y f ξ1 y x 2 f ξ2 x 2 d x 2 f ξ1 y f ξ2 y Esempio 9 Supponiamo che η ξ 1 /ξ 2, allora si ha: f η y x 2 f ξ1 ξ 2 y x 2, x 2 d x 2 Indici statistici per coppie di variabili aleatorie Date due v.a. ξ ed η, si definiscono i seguenti indici statistici: momento congiunto µ kh E { ξ k η h} momento centrale congiunto { m hk E ξ µ ξ k η µ η h} x k y h f ξη x, y d xd y Gli indici di questo tipo piú utilizzati nella pratica sono: correlazione µ 11 E{ξη} covarianza m 11 E{ξ µ ξ η µ η } x y f ξη x, y d xd y R ξη x µ ξ k y µ η h f ξη x, y d xd y x µ ξ y µ η f ξη x, y d xd y σ ξη C ξη

formulario di teoria dei segnali 17 Sfruttando la linearitá dell'operatore E{ } si prova che: σ ξη E{ξη} µ ξ µ η Una grandezza molto utilizzata é il coefficente di correlazione ρ ξη, definito come: ρ ξη σ ξη σ ξ σ η si tratta di una grandezza normalizzata, misura la correlazione per coppie di v.a. anche molto diverse come valori numerici. Infatti il coefficente di correlazione puó essere visto come: { ξ µξ ρ ξη E η µ } η σ ξ σ η cioé esso é pari alla correlazione di due v.a. normalizzate aventi valor medio nullo e varianza unitaria. Proprietá del coefficente di correlazione ξ ed η v.a. indipendenti ρ ξη 0 cioé le due v.a. sono scorrelate. Il viceversa é falso in generale, cioé la statistica indipendenza é piú restrittiva dell'incorrelazione. Se le v.a. sono incorrelate allora posso solo dire che E{ξη}E{ξ} E{η} Se due v.a. sono legate da una relazione lineare del tipo η k ξ, allora si ha: ρ ξη signk cioé le due v.a. sono massimamente correlate. ρ ξη 1 cioé i valori che ρ ξη assume sono, in valore assoluto, compresi fra 0 ed 1. Per ρ ξη 1 le v.a. sono massimamente correlate, mentre per ρ ξη 0 le v.a. sono scorrelate. Variabili aleatorie congiuntamente gaussiane Due v.a. ξ ed η sono congiuntamente gaussiane quando hanno la seguente funzione densitá di probabilitá congiunta: { [ ]} 1 1 f ξη x, y exp 2πσ ξ σ η 1 ρξη 2 2 x µ ξ 2 x µ ξ y µ η 2ρ 1 ρξη 2 σξ 2 ξη + y µ η 2 σ ξ σ η ση 2 ove i cinque parametri µ ξ, µ η, σ ξ, σ η, ρ ξη sono, rispettivamente, i 2 valori attesi, le 2 deviazioni standard e il coefficente di correlazione delle due variabili date. Si prova che: + 1 f ξ x f ξη x, y d y exp x µ ξ 2 2πσξ 2σξ 2 la stessa cosa vale per f η y, cioé le variabili ξ ed η sono gaussiane.

formulario di teoria dei segnali 18 Proprietá Siano ξ ed η due v.a. congiuntamente gaussiane, inoltre sia ρ ξη 0, allora le due variabili sono indipendenti, cioé: f ξη x, y f ξ x f η y Questo é l'unico caso in cui l'incorrelazione implica la statistica indipendenza Date due v.a. ξ ed η congiuntamente gaussiane allora la densitá di probabilitá condizionata dall'evento {ξ x} é ancora gaussiana, cioé: { f η ξ y x f [ ] } 2 ξηx, y 1 1 f ξ x exp 2πση 1 ρξη 2 2 σ η y µ 1 ρξη 2 σ 2 η ρ ξη x µ ξ η σ ξ essa é una gaussiana con: σ η ξ σ η 1 ρ 2 ξη µ η ξ µ η + ρ ξη σ η σ ξ x µ ξ Estensione ad n variabili aleatorie Consideriamo n v.a. X 1, X 2,..., X n, la funzione distribuzione di probabilitá congiunta per tali variabili, in perfetta analogia al caso bidimensionale, é definita come segue: F X1 X 2...X n x 1, x 2,..., x n P X 1 x 1, X 2 x 2,..., X n x n e la relativa funzione densitá di probabilitá congiunta é: f X1 X 2...X n x 1, x 2,..., x n n F X1 X 2...X n x 1, x 2,..., x n x 1 x 2... x n Data la densitá di probabilitá congiunta f X1 X 2...X n x 1, x 2,..., x n posso ricavare la densitá marginale di ciascuna variabile o di un sottogruppo di variabili aleatorie. Ad esempio, si ha: f X1 X 3...X n x 1, x 3,..., x n f X1 X 2 X 3...X n x 1, x 2, x 3,..., x n d x 2 Si procede in maniera analoga per quanto riguarda la funzione densitá di probabilitá condizionata, ad esempio, si ha: f X1 X 4...X n X 2 X 3 x 1, x 4,..., x n x 2, x 3 f X 1 X 2 X 3 X 4...X n x 1, x 2, x 3, x 4,..., x n f X2 X 3 x 2, x 3 Infine, le v.a. sono indipendenti se si ha: f X1 X 2...X n x 1, x 2,..., x n f X1 x 1 f X2 x 2... f Xn x n Possiamo usare la notazione vettoriale, disponiamo le n v.a. X 1, X 2,..., X n in un vettore aleatorio X: X [X 1, X 2,..., X n ]

formulario di teoria dei segnali 19 Le funzioni distribuzione e densitá le indichiamo con F X x ed f X x. Anche gli indici caratteristici vengono indicati con una notazione vettoriale. Ad esempio, il vettore valor medio µ X del vettore X é definito dalla relazione: µ X E{X} [µ X1, µ X2,..., µ Xn ] Le correlazioni fra tutte le v.a. possono essere raccolte in una matrice n n R X, detta matrice di correlazione: µ R X E { X T X } X 2 1 R X1 X 2 R X1 X n R X2 X 1 µ X 2 2 R X2 X n...... R Xn X 1 R Xn X 2 µ X 2 n Tale matrice é simmetrica, essendo E{X i X j } E{X j X i }, inoltre gli elementi della diagonale principale sono i valori quadratici medi delle v.a. costituenti il sistema. Analogamente definiamo la matrice di covarianza C X del vettore X: { } C X E X µ X T X µ X anch'essa é simmetrica e gli elementi della diagonale principale sono le varianze delle n v.a. del sistema: σx 2 1 C X1 X 2 C X1 X n C X2 X 1 σx 2 C X 2 C X2 X n...... R X µ T Xµ X C Xn X 1 C Xn X 2 σx 2 n Variabili aleatorie congiuntamente gaussiane vettore gaussiano n variabili aleatorie costituenti un vettore aleatorio X si dicono congiuntamente gaussiane quando la funzione densitá di probabilitá congiunta é espressa dalla: { 1 f X1 X 2...X n x 1, x 2,..., x n exp 1 } 2π n det C X 2 x µ X C 1 x X µ X T La matrice C X é diagonale solo se le variabili sono incorrelate. Per caratterizzare completamente da un punto di vista statistico n v.a. congiuntamente gaussiane basta il vettore dei valori medi µ X e la matrice di covarianza C X. Funzione caratteristica congiunta di due variabili aleatorie Date due v.a. ξ ed η, definiamo la funzione caratteristica congiunta per tali variabili nel modo seguente: C ξη u 1, u 2 E { e ju 1ξ+u 2 η } Se le due variabili sono indipendenti allora si ha: e ju 1x+u 2 y f ξη x, y d xd y C ξη u 1, u 2 E { e ju 1ξ e ju 2η } E { e ju 1ξ } E { e ju 2η } C ξ u 1 C η u 2

formulario di teoria dei segnali 20 Predizione Il problema della predizione é quello di predire i valori assunti da una v.a. η che non riusciamo a misurare direttamente supponendo di riuscire a misurare i valori assunti da un'altra v.a. ξ. Il predittore é quindi una legge che mi consente di stimare η a partire da ξ, cioé: ˆη gξ Il predittore ottimo di η deve minimizzare lo scarto quadratico medio ε E { η ˆη 2}. Si ha: ε E { η ˆη 2} [y gx] 2 f ξη x, y d xd y [y gx] 2 f η ξ y x f ξ x d xd y f ξ x [ ] [y gx] 2 f η ξ y x d y d x Quindi il predittore ottimo deve minimizzare l'integrale fra parentesi quadre, ossia: ˆη min gx Si prova che: [y gx] 2 f η ξ y x d y ˆη gx E{η ξ x} Predittore lineare ottimo yf η ξ y x d y Non é il predittore ottimo, peró ha il vantaggio di essere lineare. Pongo ˆη a + b ξ e minimizzo la quantitá E { η a b ξ 2}, così facendo trovo: ˆη E{η} + σ ξη σ 2 ξ [ξ E{ξ}] Se le variabili sono incorrelate allora σ ξη 0 e quindi si ha: ˆη E{η} Formula di Erlang Consideriamo degli eventi di Poisson, allora i tempi di interarrivo sono distribuiti esponenzialmente con parametro λ. Definiamo la variabile aleatoria X n come somma di n tempi di interarrivo, cioé essa é il tempo necessario per contare n eventi. Potremmo fare la convoluzione fra le n funzioni densitá, oppure, piú brevemente, si ha: n 1 n 1 λt k F Xn t P X n t 1 P X n t 1 P Nt k 1 k! k 0 k 0 e λt

formulario di teoria dei segnali 21 ossia: F Xn t 1 n 1 k 0 λt k k! e λt derivando la funzione distribuzione rispetto a t trovo: f Xn t λ λt n 1 n 1! e λt Questa é la formula di Erlang, essa mi fornisce la funzione densitá di probabilitá per una variabile aleatoria X n somma di n variabili esponenzialmente distribuite con lo stesso parametro λ.