Corso di Laurea a Distanza in Ingegneria Elettrica Corso di Comunicazioni Elettriche Teoria della probabilità A.A. 2004-05 Alberto Perotti DELEN-DAUIN Esperimento casuale Esperimento suscettibile di più risultati possibili Il risultato non può essere predetto con certezza Esempi: Lancio di una moneta Lancio di un dado Misura della resistenza di un resistore 2 1
Spazio campione È l insieme di tutti i risultati possibili di un esperimento casuale e si indica con S Esempi: Lancio di una moneta: S = {testa, croce} = {T, C}, S = 2 Lancio di un dado: S = {1, 2, 3, 4, 5, 6}, S = 6 Misura della resistenza: In questo caso, si parla di spazio campione continuo 3 Evento Ogni sottoinsieme dello spazio campione è detto evento Esempi: Lancio di una moneta: l evento è uscito testa è indicato con {testa} o {T} Lancio di un dado: l evento uscita di un numero dispari è E = {1, 3, 5}. 4 2
Probabilità di un evento Ad ogni evento si associa una probabilità, valore in [0, 1], in modo da soddisfare i seguenti assiomi: Assioma I: Assioma II: Assioma III: se A e B sono incompatibili ( ) 5 Corollari La probabilità dell evento impossibile è La probabilità che non si verifichi A è Siano A e B due eventi qualsiasi: 6 3
Probabilità congiunta L evento corrisponde all occorrenza congiunta degli eventi A e B. La probabilità congiunta dei due eventi si indica con 7 Eventi statisticamente indipendenti Quando il verificarsi dell evento A non influisce sul verificarsi dell evento B, si dice che i due eventi sono statisticamente indipendenti. In questo caso, vale il seguente risultato: 8 4
Probabilità condizionata È la probabilità dell evento A condizionata al verificarsi dell evento B. È definita nel seguente modo: Se A e B sono statisticamente indipendenti: 9 Teorema della probabilità totale Sia A 1,, A N una partizione dello spazio campione La probabilità di un qualsiasi evento B vale: 10 5
Teorema di Bayes Vale la seguente relazione: Se A e B sono eventi statisticamente indipendenti, allora è immediato verificare che 11 Esercizio 1 Calcolare la probabilità che esca il numero 53 su una ruota del lotto. Calcolare la probabilità che esca il numero 53 su almeno una ruota del lotto. 12 6
Esercizio 1 (cont.) Considerando una sola ruota, lo spazio campione S consiste di tutte le possibili quintuple non ordinate di valori interi compresi tra 1 e 90: Il numero di quintuple non contenenti il numero 53 è Quindi, la probabilità che non esca il 53 è 13 Esercizio 1 (cont.) Infine, la probabilità che esca il 53 è 14 7
Esercizio 1 (cont.) La probabilità che non esca il 53 su alcuna delle 10 ruote vale Quindi la probbailità che il 53 venga estratto su almeno una ruota vale 15 Esercizio 2 In una biblioteca sono contenuti n I = 5 libri in italiano, n F = 7 in francese e n E = 10 in inglese. Calcolare la probabilità che, estraendo due libri a caso, siano in due lingue diverse. Suggerimento: 16 8
Esercizio 2 (cont.) Lo spazio campione S consiste di tutte le possibili coppie di libri. Di tutte le possibili coppie di libri consistono di entrambi i libri in italiano consistono di entrambi i libri in francese consistono di entrambi i libri in inglese. 17 Esercizio 2 (cont.) La probabilità di scegliere due libri scritti nella stessa lingua vale dunque Infine: 18 9
Esercizio 3 In un gruppo di r persone, qual è la probabilità che almeno due persone festeggino il compleanno lo stesso giorno? Supporre che tutti gli anni siano di 365 giorni. 19 Esercizio 3 (cont.) La probabilità che tutte le r persone compiano gli anni in giorni diversi è La probabilità che almeno due persone compiano gli anni lo stesso giorno è 20 10
Esercizio 4 Una sequenza di n simboli binari (bit) è trasmessa su un canale. Per ogni bit trasmesso, il canale commette errore con probabilità p. Gli eventi {errore sul bit i-esimo} e {errore sul bit j-esimo} sono indipendenti. X 1-p 1 1 0 p p 1-p Tale modello è comunemente chiamato canale binario simmetrico. 0 Y 21 Esercizio 4 (cont.) Analiticamente, si descrive il canale nel seguente modo Calcolare la probabilità che il canale introduca più di k errori nella trasmissione. 22 11
Esercizio 4 (cont.) La trasmissione di n bit equivale all esecuzione ripetuta di n esperimenti casuali di Bernoulli indipendenti con probabilità di successo 1-p. La probabilità di avere esattamente i errori vale dove è il numero di sequenze binarie con esattamente i errori e p i (1-p) n-i è la probabilità che si verifichi una sequenza con i errori. 23 Esercizio 4 (cont.) Poiché, se i j, si ha La probabilità di avere k o più errori vale infine 24 12
Esercizio 5 Un codice a ripetizione di rate 1/3 consiste nel ripetere ciascun bit d ingresso 3 di volte. Ogni blocco di 3 bit viene trasmesso su un canale binario simmetrico con probabilità di errore p = 10-2. Il decodificatore decide a maggioranza. Calcolare la probabilità di errore del sistema di trasmissione. 25 Esercizio 5 (cont.) Si ha errore quando, in un blocco di 3 bit, 2 bit sono affetti da errore, oppure tutti i bit sono affetti da errore: 26 13
Variabile casuale È una funzione reale definita sullo spazio campione: a ciascun punto s S corrisponde un valore reale = ξ(s). Per ogni numero reale, l insieme {s: ξ(s) = } è un evento. Per ogni intervallo ( 1, 2 ), l insieme {s: ξ(s) ( 1, 2 )} è un evento. 27 Variabile casuale (cont.) Esempio 1: lancio di una moneta. Si può associare l evento {testa} ({T}) al valore 0 e l evento {croce} ({C}) al valore 1. Si ottiene una variabile casuale binaria. 28 14
Variabile casuale (cont.) Esempio 2: lancio di un dado. Si può associare al punto s i ={è uscito il numero i} il valore = ξ(s i ) = i. Si ottiene una variabile casuale discreta. 29 Variabile casuale (cont.) Esempio 3: misura di resitenza. Si può associare l evento {il risultato della misura è r} al valore = ξ(r) = r. Si ottiene una variabile casuale continua. 30 15
Distribuzione cumulativa È una funzione reale definita nel seguente modo: Proprietà: Estremi: F è monotona non decrescente: 31 Distribuzione cumulativa (cont.) Esempio 1 (cont.): lancio di una moneta. P{T} = ½ P{C} = ½ 1 F ξ () 0 1 32 16
Distribuzione cumulativa (cont.) Esempio 2 (cont.): lancio di un dado. P{è uscita la faccia i} = 1/6 1 F ξ () 0 6 33 Distribuzione cumulativa (cont.) Esempio 3 (cont.): misura di resistenza. La distribuzione cumulativa è una funzione continua. R 0 : valore nominale della resistenza 1 F ξ () 0 R 0 34 17
Densità di probabilità È una funzione reale definita nel seguente modo: Significato: è la probabilità dell evento 35 Densità di probabilità (cont.) Proprietà: Non negativa: Legami con la distribuzione cumulativa: 36 18
Densità di probabilità (cont.) Esempio 1 (cont.): lancio di una moneta. P{T} = ½ P{C} = ½ ½ f ξ () 0 1 37 Densità di probabilità (cont.) Esempio 2 (cont.): lancio di un dado. P{è uscita la faccia i} = 1/6 f ξ () 1 / 6 0 1 2 3 4 5 6 38 19
Densità di probabilità (cont.) Esempio 3 (cont.): misura di resistenza. La densità di probabilità è una funzione continua. R 0 : valore nominale della resistenza f ξ () 0 R 0 39 Densità di probabilità (cont.) Data una VC con densità di probabilita f ξ (), la probabilità dell evento {a < ξ < b} vale f ξ () 0 a b 40 20
Valor medio Il valor medio (o valore atteso) di una VC è definito nei seguenti modi VC discreta cha assume i valori i : VC continua con densità di probabilità f ξ (): 41 Valor medio (cont.) Esempio 1 (cont.): lancio di una moneta. P{T} = ½ P{C} = ½ ½ f ξ () 0 1 42 21
Valor medio (cont.) Esempio 2 (cont.): lancio di un dado. P{è uscita la faccia i} = 1/6 f ξ () 1 / 6 0 1 2 3 4 5 6 43 Valor medio (cont.) Esempio 3 (cont.): misura di resistenza. È necessario conoscere l espressione analitica della densità di probabilità Se f ξ (R 0 + ) = f ξ (R 0 ), R +, il valor medio è R 0. 1 f ξ () 0 R 0 44 22
Varianza La varianza di una VC è definita nel seguente modo: Fornisce informazioni su quanto la funzione densità di probabilità è concentrata intorno al valor medio. La grandezza è il valor quadratico medio, e coincide con la varianza per VC con valore atteso nullo. 45 Varianza (cont.) VC discreta cha assume i valori i : VC continua con densità di probabilità f ξ (): 46 23
Varianza (cont.) Esempio 1 (cont.): lancio di una moneta. P{T} = ½ P{C} = ½ ½ f ξ () 0 1 47 Varianza (cont.) Esempio 2 (cont.): lancio di un dado. P{è uscita la faccia i} = 1/6 f ξ () 1 / 6 0 1 2 3 4 5 6 48 24
Varianza (cont.) Esempio 3 (cont.): misura di resistenza. È necessario conoscere l espressione analitica della densità di probabilità e il valor medio di ξ. f ξ () 0 R 0 49 Densità uniforme Densità di probabilità uniforme in [a,b] f ξ () 1 / (b-a) 1 a F ξ () b a b 50 25
Densità uniforme (cont.) Valor medio: Varianza 51 Densità uniforme - esempi Variabile casuale ξ distribuita uniformemente in [5, 12]: 52 26
Densità di Bernoulli Un esperimento ha probabilità di successo p e probabilità di insuccesso 1 p Tipicamente, si associa all evento {successo} il valore 1 all evento {insuccesso} il valore 0 Le funzioni distribuzione cumulativa e denstià di probabilità valgono 53 Densità binomiale Eseguendo n esperimenti di Bernoulli indipendenti con probabilità di successo p, la probabilità di ottenere esattamente k successi vale Definendo la VC ξ come il numero di successi, si ottiene 54 27
Densità Gaussiana Densità di probabilità Gaussiana (o normale) N(µ, σ 2 ) La funzione erf() è chiamata funzione errore. 55 Densità Gaussiana (cont.) Esempio: densità Gaussiana (o normale) µ: valor medio σ : deviazione standard σ 2 : varianza f ξ () σ = 0.5 σ = 1 σ = 2 µ 56 28
Densità Gaussiana (cont.) Data una VC ξ Gaussiana con media µ e deviazione standard σ, la probabilità dell evento {ξ > a} è data da La funzione erfc() = 1 erf() è la funzione errore complementare 1 0 F ξ () µ a 57 Distribuzione cumulativa congiunta di due VC Date due VC ξ 1 e ξ 2, si definisce la funzione reale dove 58 29
Distribuzione cumulativa congiunta di due VC (cont.) Proprietà: Osservando che {ξ 2 < } è l evento certo, si ha Analogamente Inoltre 59 Densità di probabilità congiunta di due VC Date due VC ξ 1 e ξ 2, si definisce la funzione reale La densità di probabilità marginale rispetto a ξ 1 è ottenibile integrando la congiunta rispetto a 2 : 60 30
Distribuzione cumulativa e densità condizionate Data una VC ξ, si definisce la distribuzione cumulativa di ξ condizionata all evento A come La corrispondente densità di probabilità condizionata vale 61 Distribuzione cumulativa e densità condizionate (cont.) Esempio: se A è l evento {ξ a}, si ottiene F ξ ( ξ a) f ξ ( ξ a) 1 0 a 0 a 62 31
Esercizio 6 Una VC ξ ha la seguente densità di probailità: Verificare che f ξ () è una densità di probabilità. Calcolare la funzione distribuzione cumulativa. Calcolare inoltre la probabilità dei seguenti eventi: 63 Esercizio 6 (cont.) Una funzione densità di probabilità deve soddisfare la seguente proprietà: Nel nostro caso: 64 32
Esercizio 6 (cont.) La distribuzione cumulativa può essere calcolata come 65 Esercizio 6 (cont.) 66 33
Esercizio 7 Una VC ξ ha la seguente densità di probailità: Calcolare la probabilità dei seguenti eventi: Calcolare inoltre 67 Esercizio 7 (cont.) (1) (2) (3) Infine: 68 34
Riferimenti bibliografici [P] [G] G. Prati, Videocorso Teoria dei Segnali R. Gaudino, Appunti sulle esercitazioni relative alla Teoria dei Segnali, http://corsiadistanza.polito.it/corsi/pdf/04ajycc/ Comunicaz_elettr_richiami.pdf [BB] S. Benedetto, E. Biglieri, Teoria della Probabilità e Variabili Casuali, Bollati Boringhieri, Torino, 1988 69 35