CENNI SULLE VARIABILI ALEATORIE... 1 INTRODUZIONE ALLA TEORIA DELLE PROBABILITÀ... APPROFONDIMENTO SULLA TEORIA DELLE PROBABILITÀ... 3.1 Teorema della probabilità dell evento complementare... 3. Teorema della probabilità totale... 3.3 Fenomeno aleatorio condizionato... 3.4 Indipendenza Statistica... 4.5 Teorema di Bayes... 4 3 DEFINIZIONE DI VARIABILE ALEATORIA... 5 3.1 Funzione distribuzione... 5 3. Funzione densità di probabilità... 6 4 APPROFONDIMENTI CON ESEMPI SULLE VARIABILI ALEATORIE... 7 4.1 Variabili aleatorie discrete... 7 4. Variabili aleatorie continue... 1 1
Cenni sulle variabili aleatorie 1 Introduzione alla teoria delle probabilità la teoria della probabilità si occupa dei valori medi di enomeni di massa che avvengono simultaneamente o successivamente nel tempo: emissioni di elettroni, chiamate teleoniche, rilevamenti radar, controllo della qualità di un prodotto, guasti in un impianto, meccanica statistica, indici di natalità e di mortalità, ereditarietà. Alcuni esempi di enomeni aleatori di interesse speciico nelle telecomunicazioni sono: Errori introdotti dal canale di comunicazione sul messaggio trasmesso, Numero e tipo di chiamate simultaneamente attive alla centrale di commutazione, Errori di misura negli strumenti di acquisizione. E stato osservato che in questi e altri campi certi valori medi si approssimano a un valore costante, allorché il numero delle osservazioni aumenta. Per di più, questo valore limite si mantiene invariato, anche se le medie vengono valutate su una qualunque successione parziale, deinita prima che l esperimento venga compiuto. Così, se ripetendo più volte il lancio di una moneta, la percentuale degli esiti testa si avvicina al 5% (valore medio), questo stesso valore si otterrebbe se si considerasse, ad esempio, un lancio ogni quattro. Un enomeno aleatorio può essere caratterizzato secondo gli elementi descritti in tabella Esperimento Prova Determinazione Evento Descrizione delle modalità di attuazione di un enomeno aleatorio Esecuzione di un esperimento Valore che può essere assunto da una grandezza isica a seguito di una prova L evento si veriica se il risultato soddisa certi requisiti. La teoria si propone di descrivere e di predire tali valori medi e a questo proposito si associa a un certo evento la sua probabilità. Nell osservazione dei enomeni aleatori, all aumentare del numero delle osservazioni alcune grandezze tendono a valori costanti. Questo consente di deinire la probabilità di un evento A tramite il rapporto ra il numero n A di occorrenze dell evento e il numero totale n degli esperimenti eettuati: Pr ( A) na = lim n n Pr(A) è un numero reale positivo sempre compreso tra e 1. Gli eventi aleatori si deiniscono in termini di insiemi e sono caratterizzati delle probabilità ad essi associati. Ad ognuno dei risultati si associa con una corrispondenza biunivoca un punto nell insieme (spazio) dei risultati Ω. Dato un evento E ad esso corrisponde l insieme E dei punti di Ω corrispondenti ai risultati avorevoli all evento E. All evento certo, cui sono avorevoli tutti i risultati possibili, corrisponde l intero insieme Ω e quindi la probabilità 1. Agli eventi si applicano le classiche operazioni tra insiemi, di cui alcuni esempi sono in tabella.
Operazione d insieme Complementazione A = ω ω Ω, ω A { } Unione A B = { ω ω Ω, ω A " o " ω B} Intersezione A B = { ω ω Ω, ω A " e" ω B} Operazione sugli eventi Evento non-a, che si veriica quando non si veriica A Evento A o B, che si veriica quando si veriica almeno uno dei due eventi A o B. Evento A e B, che si veriica quando si veriicano ambedue gli eventi A e B. La probabilità Pr può essere deinita come una unzione che a corrispondere ad un dato insieme in Ω un valore reale compreso tra e 1: Pr : F [, 1] La probabilità gode delle seguenti proprietà (assiomi): 1) Pr(E), E Ω ) Pr( n E n ) = Σ n Pr(E n ) E 1,, E n Ω, E i E j = 3) Pr(Ω) = 1 Approondimento sulla teoria delle probabilità Questa sezione contiene una rassegna dei principali risultati sulla teoria della probabilità che possono essere utili per uno studio approondito sui enomeni aleatori e sulle loro applicazioni nel campo delle telecomunicazioni..1 Teorema della probabilità dell evento complementare Dato un evento ammissibile E con Probabilità Pr(E), la probabilità dell evento complementare Pr(non-E) è pari a Pr(non-E) = 1 Pr(E). Teorema della probabilità totale Dati due eventi ammissibili A e B, non necessariamente mutuamente escludentisi ( A B ), con probabilità Pr(A), Pr(B), l evento (A o B) è ammissibile, e la sua probabilità vale:.3 Fenomeno aleatorio condizionato Pr(A B) = Pr(A)+ Pr(B) Pr(A B) Dato un enomeno aleatorio descritto dallo spazio Ω ed un evento ammissibile Γ (cioè Pr(Γ)>), si dice enomeno aleatorio condizionato all evento Γ il enomeno aleatorio ottenuto da quello di partenza scartando i casi in cui l evento Γ non si veriica. Rispetto al enomeno aleatorio condizionato, il generico evento E è rappresentato dall insieme E Γ. Pertanto si deinisce la probabilità condizionata di un evento E rispetto a Γ il rapporto seguente: 3
.4 Indipendenza Statistica ( E Γ) Pr = 4 Pr ( E Γ) Pr( Γ) In generale, sapere che si è veriicato l evento Γ modiica la conoscenza circa il contemporaneo veriicarsi dell evento E. Inatti: Pr( E Γ) Pr( E) Se la conoscenza che si sia veriicato Γ non porta alcuna conoscenza riguardo ad E, i due eventi si dicono statisticamente indipendenti. In particolare un evento E si dice statisticamente indipendente dall evento Γ se e solo se Pr ( E Γ) = Pr( E) Se l evento E è statisticamente indipendente dall evento Γ risulta:.5 Teorema di Bayes Pr( E Γ) = Pr( Γ) Pr( E) Si consideri un enomeno aleatorio complesso, cui siano associati due enomeni aleatori semplici interconnessi ra loro, di cui solo uno direttamente osservabile. Si consideri ad esempio un sistema di trasmissione in cui il canale introduce un errore di trasmissione. Un primo enomeno aleatorio è costituito dall emissione da parte della sorgente S di una sequenza di bit {a k = o 1}. Il secondo enomeno aleatorio (interconnesso al primo) è costituito dalla ricezione da parte del destinatario D di una sequenza di simboli {b k = o 1} che, a causa degli errori introdotti dal canale, non coincide necessariamente con {a k }. Le conoscenze a priori sulla sorgente si traducono sulla conoscenza delle probabilità con cui la sorgente emette i simboli {a k }: p = Pr(a k = ) p 1 = Pr(a k = 1) = 1 - p Le conoscenze a priori sui meccanismi isici di trasmissione nel canale si traducono sulla conoscenza delle probabilità dei simboli ricevuti {b k } condizionate ai simboli emessi {a k }: Pr(b k = a k = ) Pr(b k = a k = 1) Pr(b k = 1 a k = ) Pr(b k = 1 a k = 1) Il teorema di Bayes risponde alla domanda: se il simbolo ricevuto è b k = 1, qual è la probabilità che il simbolo emesso sia stato a k = 1? ovvero, come si calcolano le seguenti probabilità a partire dalle Pr(a k ) e dalle Pr(b k a k ) Pr(a k = b k = ) Pr(a k = b k = 1) Pr(a k = 1 b k = )
Pr(a k = 1 b k = 1) Enunciato del teorema di Bayes: Sia dato un processo aleatorio con spazio Ω, si consideri una partizione completa {Γ 1,...Γ m } di Ω, (ovvero j Γ j = Ω con Γ i Γ j =, i j), che corrisponde ad una serie completa di eventi mutuamente escludentisi Γ i ed un evento ammissibile E. Note le probabilità Pr(Γ i ), i = 1, m, e le probabilità condizionate Pr(E Γ i ), i = 1, m, la probabilità condizionata dell evento Γ h h = 1, m rispetto all evento E, è data da: Pr ( Γ E) h = m Pr j = 1 ( E Γ ) Pr( Γ ) Pr h ( E Γ ) Pr( Γ ) j h j 3 Deinizione di variabile aleatoria Dato un esperimento aleatorio che è caratterizzato dallo spazio dei risultati Ω, abbiamo deinito la probabilità associata ad eventi e cioè sottoinsiemi di risultati che appartengono a Ω. La variabile aleatoria mappa i singoli esiti del processo in valori reali. In particolare, vale la seguente deinizione di variabile aleatoria: dato uno spazio di probabilità caratterizzato dallo spazio dei risultati Ω e dalla probabilità P associata ai suoi sottoinsiemi, si deinisce variabile aleatoria (ω) una qualsiasi unzione : Ω R tale che per ogni punto ξ di R l insieme A corrispondente, A = { ω Ω, ω < ( ω ) ξ}, rappresenti un evento ammissibile. Una variabile aleatoria (ω) si dice discreta se esiste un insieme S = { i } inito o ininito numerabile tale P ω ω = = (condizione di normalizzazione). Una variabile aleatoria si dice continua che ( ( ) ) 1 S i i quando i valori che può assumere sono continui; in questo caso la precedente condizione di normalizzazione vale in orma integrale. 3.1 Funzione distribuzione La unzione distribuzione associata alla variabile aleatoria, F (), è deinita come la probabilità che la variabile aleatoria sia minore o uguale a : F ( ) = Pr{ } Nella precedente notazione il simbolo maiuscolo (cioè ) indica la variabile aleatoria, mentre il corrispondente simbolo minuscolo (cioè ) indica una maniestazione (e cioè un possibile valore) della variabile aleatoria. La unzione distribuzione F () gode delle seguenti proprietà: Non-negativa Non-decrescente F F ( ) ( + ) F ( ), > Continua da destra 5
( + ) = F ( ), lim F > Tende a al tendere a - dell argomento F ( + ) lim = Tende a 1 al tendere a + dell argomento F + ( + ) 1 lim = La probabilità di un evento ammissibile A, cui tramite la corrisponde un insieme A() di R, può essere calcolata tramite l integrale: 3. Funzione densità di probabilità Pr ( A ) = df ( ) A La unzione densità di probabilità della variabile aleatoria, (), è deinita come la derivata della unzione distribuzione rispetto a : ( ) ( ) = df d ( ) Due variabili aleatorie 1, sono statisticamente indipendenti se e solo se è veriicata la condizione seguente per le unzioni densità: o (equivalentemente) per le unzioni distribuzione: ( ) = ( ) ( ) 1 1, 1 1 F ( ) = F ( ) F ( ) 1 1, 1 1 Il valore medio di una variabile aleatoria è deinito dal seguente operatore: [ ] = ( ) E d, dove l integrale viene atto su tutto lo spazio di variabilità di Il valore quadratico medio è ottenuto applicando l operatore E[.] alla variabile : E [ ] = ( ) d, dove l integrale viene atto su tutto lo spazio di variabilità di La varianza della variabile aleatoria, σ, si ottiene come segue: σ ( ) E( ) [ ] = E 6
4 Approondimenti con esempi sulle variabili aleatorie Questa sezione ha lo scopo di ornire una rassegna molto dettagliata delle caratteristiche delle variabili aleatorie più comunemente usate nel campo delle comunicazioni. Le variabili aleatorie possono essere di tipo continuo e discreto. La distinzione si a in base all insieme di valori che la variabile può assumere. Se la variabile aleatoria può assumere solo un insieme inito di valori si dice variabile aleatoria discreta. Pertanto mentre le variabili aleatorie sono contraddistinte dalle relative unzioni densità (o le unzioni distribuzione di probabilità), le variabili aleatorie discrete sono contraddistinte dai valori puntuali delle probabilità. Di seguito sono dettagliate le caratteristiche dei tipi più comuni di variabili aleatorie. Alcune di queste variabili possono essere particolarmente utili per caratterizzare, ad esempio, il canale di comunicazione e le caratteristiche del traico. 4.1 Variabili aleatorie discrete La distribuzione binomiale Rierendoci ad un esperimento aleatorio, si ha dato evento A che ad ogni prova dell esperimento si veriica con probabilità p. Supponendo che l esito dell esperimento sia indipendente da prova a prova, allora la probabilità che su N prove ripetute dell esperimento, l evento A sia stato soddisatto = k volte è data dalla ormula seguente (distribuzione di probabilità binomiale): N dove = k N Prob k N! è il coeiciente binomiale. k!( N k)! k N k { = k} = p ( 1 p), k [, 1,..., N] Il valore medio di questa distribuzione è E[] = np; la varianza vale Var[] = np(1 - p). Un esempio di distribuzione di probabilità binomiale è mostrato in Fig. 1. 7
.5. Probabilità.15.1.5 4 6 8 1 1 14 16 18 Fig. 1: Distribuzione di probabilità binomiale per N = e p =.. La distribuzione geometrica Sia dato un esperimento aleatorio, in base al quale si deinisce l evento A che ad ogni prova si veriica con probabilità p. Supponendo che l esito dell esperimento sia indipendente da prova a prova, il numero di prove che occorre eseguire per aver veriicato l evento A è = k secondo la seguente distribuzione di probabilità geometrica: Prob k 1 { = k} = p ( 1 p), k [ 1,,...] Il valore medio di questa distribuzione è E[] = 1/p; la varianza vale Var[] = (1 - p)/p. Un esempio di andamento della distribuzione geometrica è indicato nella Fig.. 8
Probabilità..18.16.14.1.1.8.6.4. 5 1 15 5 Fig. : Distribuzione di probabilità geometrica per p =.. La distribuzione di Poisson Una variabile aleatoria discreta ha distribuzione di Poisson quando la probabilità che si veriichi l evento = k per k =, 1,, soddisa la seguente ormula: k ρ ρ Prob{ = k} = e, k [, 1,...] k! dove ρ è un parametro (adimensionale) reale positivo; la distribuzione ha andamento decrescente con k, ma al crescere di ρ divengono maggiormente signiicativi i valori con k più elevato. Il valore medio di questa distribuzione è E[] = ρ; la varianza vale Var[] = ρ. Un esempio che illustra l andamento della distribuzione di Poisson è indicato in Fig. 3. 9
.3.5. Probabilità.15.1.5 4. Variabili aleatorie continue Distribuzione esponenziale 4 6 8 1 1 14 16 18 Fig. 3: Distribuzione di probabilità di Poisson per ρ =. Una variabile aleatoria con distribuzione di esponenziale ha la seguente unzione densità: 1 λ λ ( ) = e, [, + ) Il valore medio di questa distribuzione è E[] = 1/λ (λ prende il nome di tasso e ha le dimensioni del reciproco di ); la varianza vale Var[] = 1/λ. Funzione densità 5 4.5 4 3.5 3.5 1.5 1.5 1 3 4 5 6 7 8 9 1 Fig. 4: Funzione densità di probabilità per un tasso λ =.. 1
La distribuzione gaussiana Una variabile aleatoria con distribuzione gaussiana con valore medio µ e varianza σ è caratterizzata dalla seguente unzione densità: ( ) πσ ( µ ) 1 σ = e, (, + ) σ è la deviazione standard. La unzione densità di una variabile aleatoria gaussiana con valore medio µ = e varianza σ = 1 è rappresentata in Fig. 1..4.35.3 Funzione densità.5..15.1.5-1 -8-6 -4-4 6 8 1 Fig. 5: Funzione densità di probabilità per una variabile aleatoria gaussiana con valore medio nullo e varianza unitaria. La unzione distribuzione F () associata alla densità gaussiana è ovviamente data dalla seguente ormula: F ( ) = ( ) d. Tale integrale non può essere espresso in orma chiusa. Si introduce allora la + y 1 1 1 unzione Q( ) = e dy = 1 er = erc. Rierendoci ad una variabile aleatoria π gaussiana con valore medio nullo e varianza unitaria, allora la sua distribuzione F () può essere ottenuta come 1 Q(). La distribuzione gaussiana ha un interessante proprietà che va sotto il nome di teorema del limite centrale: la somma di n variabili aleatorie continue identicamente distribuite e statisticamente 11
indipendenti tende ad una variabile aleatoria gaussiana se n (questo vale qualsiasi sia la unzione densità delle variabili aleatorie che si sommano). La distribuzione lognormale Una variabile aleatoria è detta avere una distribuzione lognormale con parametri µ e σ, se ln() ha distribuzione normale con valore medio µ e deviazione standard σ. Equivalentemente = ep(y), dove Y ha distribuzione gaussiana con valore medio µ e deviazione standard σ. E possibile dimostrare che questa variabile aleatoria ha la seguente unzione densità: ( ) πσ ( ln( ) µ ) 1 σ = e, (, + ) Il valore medio di questa distribuzione è E[] = ep(µ + σ /); la varianza vale Var[] = ep(µ + σ )- ep(µ + σ ). Un esempio di distribuzione lognormale è dato in Fig. 6 per µ = e σ =.. 1 5 1 Funzione densità 1-5 1-1 1-15 1-1 -5 1 3 4 5 6 7 8 9 1 Fig. 6: Funzione densità di probabilità per una variabile aleatoria lognormale con per µ = e σ =.. La distribuzione lognormale serve per modellare la statistica del prodotto di un numero elevato di variabili indipendenti ed indipendentemente distribuite (teorema del limite centrale per il prodotto). Distribuzione di Rayleigh Una variabile aleatoria con distribuzione di Rayleigh ha la seguente unzione densità: 1 ( ) = e σ, [, + ) σ 1
Il valore medio di questa distribuzione è E[] = Γ( 3/ ) la varianza vale Var[] = ( π/)σ. σ, dove Γ() indica la unzione Gamma di ; Se e Y sono due variabili aleatorie indipendenti con distribuzione gaussiana, valore medio nullo e varianza σ, allora la variabile Z = + Y è distribuita secondo Rayleigh come indicato in precedenza. Invece Z ha distribuzione chi-quadro centrale con due gradi di libertà. Distribuzione di Rice Una variabile aleatoria con distribuzione di Rice ha la seguente unzione densità: σ + s s σ σ ( ) = e I, [, + ) dove I () rappresenta la unzione di Bessel modiicata del primo tipo di ordine e s è il parametro di non-centralità. Se e Y sono due variabili aleatorie indipendenti con distribuzione gaussiana, valori medi µ 1 e µ (rispettivamente) e stessa varianza σ, allora la variabile Z = + Y è distribuita secondo Rice come indicato in precedenza, dove s = µ 1 + µ. Invece Z ha distribuzione chi-quadro non-centrale centrale con parametro di non-centralità s. 13