Sequenze (Sistemi) di Variabili Aleatorie Se consideriamo un numero di variabili aleatorie, generalmente dipendenti si parla equivalentemente di:

Transcript

1 Teoria dei Fenomeni Aleatori AA 01/13 Sequenze (Sistemi) di Variabili Aleatorie Se consideriamo un numero di variabili aleatorie, generalmente dipendenti si parla equivalentemente di: N-pla o Sequenza di Variabili Aleatorie Sistema di Variabili Aleatorie Vettore Aleatorio Spesso si usa il simbolismo vettoriale per una sequenza (sistema) di variabili aleatorie. 1

2 Teoria dei Fenomeni Aleatori AA 01/13 Vettori Aleatori colonna e riga X X. 1. =.. X N T [ ] X = X X 1 N

3 Teoria dei Fenomeni Aleatori AA 01/13 Funzioni di Distribuzione e Densità N-dimensionali Date N variabili aleatorie X,X,...,X 1 N la Distribuzione Congiunta di esse è data da: (,,..., ) F x x x 1 N = {,,..., } = P X x X x X x 1 1 N N 3

4 Teoria dei Fenomeni Aleatori AA 01/13 Distribuzione e Densità Congiunta Tale funzione, definita per ogni x i tra e + è monotona non decrescente con x i ed inoltre: F ( +,..., + ) = 1 La derivata della distribuzione rispetto ai suoi argomenti: (,..., ) f x x 1 N N (,..., x ) F x = x x... x 1 N 1 N è la Densità Congiunta delle variabili aleatorie X i. 4

5 Teoria dei Fenomeni Aleatori AA 01/13 Funzioni di Distribuzione e Densità N-dimensionali {(,..., ) } P X X D = 1 N D (,..., ) = f x x dx dx 1 N 1 N Saturando rispetto ad alcune variabili l integrale (ponendo pari ad + i corrispondenti termini della funzione di distribuzione) si ottiene la densità (distribuzione) congiunta delle rimanenti variabili. 5

6 Teoria dei Fenomeni Aleatori AA 01/13 Esempio: N = 4 = ( + + ) F x, x F x,,x, f x, x = = f x,x, x, x dx dx

7 Teoria dei Fenomeni Aleatori AA 01/13 Le variabili aleatorie Variabili Aleatorie Indipendenti indipendenti se gli eventi { X x } ogni i. Allora: X i sono dette (mutuamente) i sono indipendenti per i pertanto (,..., ) =... F x x F x F x 1 N 1 N (,..., ) =... f x x f x f x 1 N 1 N 7

8 Teoria dei Fenomeni Aleatori AA 01/13 Variabili Aleatorie Indipendenti Ogni sottoinsieme di un insieme di variabili aleatorie indipendenti è, a sua volta, un insieme di variabili indipendenti. Se N variabili aleatorie sono indipendenti a coppie, non è detto che esse siano (mutuamente) indipendenti. 8

9 Teoria dei Fenomeni Aleatori AA 01/13 Trasformazione di Variabili Aleatorie Date X 1,X,...,X N v.a. con densità congiunta le funzioni: f X x 1,x,...,x N Y = g X, X,..., X N Y = g X, X,..., X 1 N Y = g X, X,..., X N N 1 N 9

10 Teoria dei Fenomeni Aleatori AA 01/13 Trasformazione di Variabili Aleatorie (segue) definiscono le N variabili aleatorie Y,Y,...,Y 1 N la cui densità congiunta si determina risolvendo: g 1 x1, x,..., xn = y1 g (,,..., ) x1 x xn = y g (,,..., ) N x1 x xn = y N 10

11 Teoria dei Fenomeni Aleatori AA 01/13 Trasformazione di Variabili Aleatorie (segue) Se tale sistema non ha soluzione per alcuni valori di y i, allora per tali valori: f y,..., y = 0 Y 1 N x,..., x, Se il sistema ammette un'unica soluzione 1 N allora: f y,..., y Y 1 N = f x,..., x X 1 N J x,..., x 1 N 11

12 Teoria dei Fenomeni Aleatori AA 01/13 dove: J x 1 g1 g1... x1 x N,..., xn = gn g N... x1 xn è lo Jacobiano della trasformazione e J ( ) indica il valore assoluto del determinate di J( x ) 1,..., x N. 1

13 Teoria dei Fenomeni Aleatori AA 01/13 Trasformazione di Variabili Aleatorie (segue) Se le soluzioni del sistema sono più di una, si f y,..., y i termini sommano nella espressione Y 1 N corrispondenti, in maniera del tutto analoga ai casi monodimensionali e bidimensionali. 13

14 Teoria dei Fenomeni Aleatori AA 01/13 La Matrice di Covarianza La covarianza delle variabili aleatorie X i e X j è: con μ = E X η X η = E X X ηη ij i i j j i j i j [ ] η= i E X i η j = E X j 14

15 Teoria dei Fenomeni Aleatori AA 01/13 La Matrice di Covarianza Nel caso di N variabili aleatorie appartenenti a N R, si considerano le N coppie del tipo X,X e si valutano i j le relative covarianze (matrice N N): M X μ11 μ1... μ1n μ1 μ... μ N = N1 N... μ μ μnn 15

16 Teoria dei Fenomeni Aleatori AA 01/13 La Matrice di Covarianza Utilizzando il formalismo dei vettori colonna: X T = con il vettore dei valori attesi [ X, X,...,X ] 1 N T X 1 N [,,..., ] η = η η η M = E X η X η = E X X η η T T T X X X La matrice di covarianza è simmetrica: T X M = M X 16

17 Teoria dei Fenomeni Aleatori AA 01/13 Bivariata Gaussiana e Retta di Regressione Vettore Gaussiano bidimensionale (N = ): X X, 1 = X η 1 η= η con σ 1 e σ varianze di X 1 e X, che sono correlate secondo un coefficiente di correlazione pari a ρ. Matrice di covarianza vale: M X T σ1 ρσ1σ = E X η X η = ρσ1σ σ 17

18 Teoria dei Fenomeni Aleatori AA 01/13 Bivariata Gaussiana e Retta di Regressione da cui risulta: -1 M X ( M ) X = σσ 1 ρ det 1 1 σ ρσ1σ = ρ σ σ ρσ1σ σ1 ( 1 ) 1 Applicando la definizione di multivariata reale per N = si ottiene la densità congiunta o Bivariata Gaussiana: 1 1 T f ( x ) = exp x x X det η X η M -1 M π X 18

19 Teoria dei Fenomeni Aleatori AA 01/13 Bivariata Gaussiana e Retta di Regressione 1 1 x η x η x η ( x η) fx ( x 1,x) = exp ρ + πσ 1 1σ 1 ρ ( ρ ) σ1 σσ 1 σ La densità marginale è data da: 1 x 1 η 1 fx x 1 1 = exp σ1 π σ1. f ( x,x ) 1 1 f X X x 1 x1 = = exp q X 1 f X x 1 1 σ 1 ρ π 19

20 Teoria dei Fenomeni Aleatori AA 01/13 con ( x ) 1 η1 x1 η1 x η x η x1 η1 ( ) 1 q= ρ + 1 ρ = 1 ρ 1 σσ σ 1 σ σ1 1 x1 η1 x1 η1 x η x η = ρ ρ + 1 ρ σ1 σσ 1 σ Ovvero: q 1 x1 η1 x η ρ σ1 σ = 1 σ 1 ( x ) η ρ x 1 η 1 1 ρ σ1 σ = ρ f x x = exp ( x η ) ρ ( x η ) 1 1 σ1 ( ρ ) X X 1 1 σ 1 σ 1 ρ π σ 0

21 Teoria dei Fenomeni Aleatori AA 01/13 ovvero una densità gaussiana con valor medio: e varianza: η = η σ + η ρ x1 σ1 ( ) ( ρ ) 1 σ =σ che diventa nulla per ρ = 1. Pertanto la curva di regressione: σ E X x = φ x =η +ρ x η σ 1 coincide con la retta di regressione. 1 1

22 Teoria dei Fenomeni Aleatori AA 01/13 Bivariata Gaussiana: η =η = 0, σ =σ =, r = 0 X Y X Y

23 Teoria dei Fenomeni Aleatori AA 01/13 Bivariata Gaussiana: η =η = 0, σ = 4, σ = 1, r = 0 X Y X Y 3

24 Teoria dei Fenomeni Aleatori AA 01/13 Bivariata Gaussiana: η =η = 0, σ =, σ =, r = 0.7 X Y X Y 4

25 Teoria dei Fenomeni Aleatori AA 01/13 Bivariata Gaussiana: η =η = 0, σ = 4, σ = 1, r = 0.7 X Y X Y 5

26 Teoria dei Fenomeni Aleatori AA 01/13 Bivariata Gaussiana: η =η = 0, σ =, σ =, r = 0.99 X Y X Y 6

27 Teoria dei Fenomeni Aleatori AA 01/13 Bivariata Gaussiana: η =η = 0, σ = 4, σ = 1, r = 0.99 X Y X Y 7

28 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Bivariata Gaussiana Rappresentazione mediante Matrice di Covarianza Dato il vettore bidimensionale: ~0,1 ~0,1 0, 0 1, à Si vuole determinare la matrice tale che il vettore: abbia matrice di covarianza assegnata: 1 1 8

29 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Bivariata Gaussiana Rappresentazione mediante Matrice di Covarianza Calcolo degli autovalori di : 1 Calcolo degli autovettori di :

30 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Bivariata Gaussiana Rappresentazione mediante Matrice di Covarianza Calcolo degli autovettori di : Autovettore associato a 1:

31 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Bivariata Gaussiana Rappresentazione mediante Matrice di Covarianza Autovettore associato a 1:

32 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Bivariata Gaussiana Rappresentazione mediante Matrice di Covarianza Matrice degli autovettori e degli autovalori: /

33 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Bivariata Gaussiana Rappresentazione mediante Matrice di Covarianza, 1 / 1 / 1 1 / 1 33

34 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Bivariata Gaussiana Rappresentazione mediante Matrice di Covarianza

35 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Multivariata Gaussiana Reale v.a. Gaussiane indipendenti varianza : La densità congiunta vale:, con media e ( y η ) f y exp π σ σ σ N 1 1 i i Y = N/ 1... σ N i= 1 i (1) e può essere scritta come l'esponenziale di una forma quadratica: 35

36 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Multivariata Gaussiana Reale 1 T 1 f Y y = exp y η Λ y η c () dove η è il vettore dei valori medi e ( ) 1 N Λ = diag σ, σ,..., σ è la matrice di covarianza (diagonale). La costante c è così definita: N exp c = π σ1 σn... σ N = π det 1 N Come trasformare Y per avere X con assegnata Λ M X? (3) 36

37 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Multivariata Gaussiana Reale Supponendo i valori attesi di Y nulli, si consideri la seguente trasformazione: X = U Y (4) -1 T con U matrice invertibile e ortogonale, cioè U = U, -1 *T H (nel campo complesso U = U = U ). 1 f X x = fy y det J y= U dove J è lo Jacobiano della trasformazione T x y = g x. 37

38 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Multivariata Gaussiana Reale Nel caso in esame, essendo U ortogonale, si ha: J = U T e ( J ) det = 1 Pertanto utilizzando il teorema fondamentale con J = U T si ha, dalle () e (4): 1 T f X x exp T x -1 T = x c U Λ U = 1 T = exp x -1 T U Λ U x c 38

39 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Multivariata Gaussiana Reale -1-1 T Possiamo indicare con A il prodotto UΛ U ; si dimostra di seguito che A =M X. Si ricorda che se A ha autovalori distinti, come qui supponiamo, allora vale la decomposizione spettrale: A =U Λ U dove U è la matrice unitaria le cui colonne sono gli autovettori di A e Λ la matrice diagonale degli autovalori di A. T 39

40 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Multivariata Gaussiana Reale Usando la regola ( A B) = B A e ricordando che -1 T U = U, si ha che l inversa di A ha decomposizione: -1-1 T A =UΛ U -1-1 pertanto se è vero che A =M X ne consegue che: M =UΛ U X T 40

41 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Multivariata Gaussiana Reale Si determini ora la matrice di covarianza di X: T T T MX = E X X = E UY Y U ricordando che T M = E YY Y = Λ { T } M = U E YY U = UΛU X T T (5) 41

42 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Multivariata Gaussiana Reale Inoltre si ha: Λ in quanto U è unitaria. L'espressione della multivariata reale gaussiana diviene: 1 1 T -1 f ( x ) = exp x x X N 1 M X ( π) ( det M ) La matrice Λ corrisponde alla matrice diagonale degli autovalori di M X, mentre la matrice U è la matrice ortogonale le cui colonne sono gli autovettori di M X. X 4

43 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Multivariata Gaussiana Reale La trasformazione inversa della (4): Y = U T X rende la matrice di covarianza M X in forma diagonale (ovvero trasforma X in un vettore Y di variabili indipendenti). 43

44 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Densità e distribuzioni condizionate La densità condizionata delle variabili aleatorie X n,..., X k+1 assumendo X k = x k,, X 1 = x 1, è pari a: f x,..., x f ( x ) n,...,xk+ 1 x k,...,x 1 = f x,..., x 1 n 1 k f x,..., x = f x x,..., x f x,..., x 1 n n n 1 1 n 1 1 f x,..., x = f x x,..., x... f x x, x f x x f x 1 n n n

45 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Densità e distribuzioni condizionate Per rimuovere variabili situate sulla sinistra o sulla destra della linea di condizionamento esiste la regola seguente. Ad esempio (, ) f x x x 3 1 integrando rispetto a x si ottiene: = f x, x, x 1 3 f x 1 = 1 f ( x, ) (, ) (,, ) 1 x3 f x3 x x1 dx = f x1 x x3 dx = = f x f x f x x

46 Corso di Teoria dei Fenomeni Aleatori AA 01/13 Densità e distribuzioni condizionate Per rimuovere le variabili a destra della linea di condizionamento, ad esempio supponiamo di voler eliminare x e x 3 da (,, ) (, ) = (,, ) f x x x x f x x x f x x x x Integrando ambo i membri rispetto a x e x 3, si ottiene: (,, ) (, ) = f x x x x f x x x dx dx f x x si moltiplica per la densità condizionata di tali variabili, assumendo fisse le rimanenti variabili, e poi si integra. 46