Richiami sul calcolo delle probabilità

Transcript

1 robabilità Richiami sul calcolo delle probabilità TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE

2 Modello matematico Sommario Assiomi del calcolo delle probabilità robabilità di un evento robabilità condizionata Variabili aleatorie Funzione di distribuzione Densità di probabilità Medie Variabili aleatorie multiple Funzione di distribuzione e densità di probabilità congiunta Indipendenza e incorrelazione TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE

3 Richiami probabilità Definizioni Esperimento aleatorio Esperimento il cui risultato non può essere predetto con certezza Es: lancio di una moneta, lancio di un dado, estrazione di una carta da un mazzo, misura di una tensione di rumore in un dato istante, misura del livello di un segnale telefonico in un dato punto, ecc... TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 3

4 Definizioni Uscita elementare ogni possibile risultato dell esperimento Spazio dei campioni (S) l insieme di tutte le possibili uscite elementari (s i ) discreto (facce di un dado) non discreto (valore di una tensione di rumore) Evento qualsiasi sottoinsieme di S Es: uscita maggiore di 3, uscita compresa tra 0 e.5,... TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 4

5 Definizioni Evento complementare (di un evento A) evento costituito da tutte quelle uscite che non appartengono ad A viene indicato con A Eventi disgiunti (che si escludono a vicenda) eventi che non hanno uscite elementari in comune (se si verifica uno non si verifica l altro, e viceversa) TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 5

6 Modello matematico eventi A S A e B disgiunti B C e D non disgiunti C D esperimento casuale A B C D Evento che si verifica se si verifica A oppure B (A + B) Evento che si verifica se si verificano contemporaneamente C e D (CD) Ricordare che: le uscite elementari sono anch esse eventi Sono eventi a due a due disgiunti TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 6

7 robabilità di un evento ( A) Misura assegnata a ciascun evento in modo da rispettare le seguenti condizioni (assiomi): ) 0 (A) per ciascun evento A ) (S) = 3) Se E, E, E 3.. sono eventi a due a due disgiunti, (E i E j = per i j), allora: ( ) i Ei ( E i i ) TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 7

8 Conseguenze Dagli assiomi della probabilità discende che: a) b) c) ( A) ( A) ( ) 0 ( E E ) ( E ) ( E ) ( E ) E Uscite elementari eventi tra loro disgiunti Se S è discreto, ( E) ( uscita elementare i esima E) i TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 8

9 Esempio Es: esperimento: estrazione di una carta da un mazzo di 5 carte E = {uscita di una figura} er simmetria tutte le uscite elementari avranno la stessa probabilità. er l assioma ) (uscita elementare) = /5 Quindi (E)=/5 TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 9

10 robabilità condizionata ( E / E ) Es.: Dati due eventi E e E si definisce probabilità di E condizionata a E la probabilità di E allorquando si sa che E ( E E ) ( E / E ) ( E) ( E ) esperimento: lancio di un dado A={uscita maggiore di 3} B={uscita pari} (A)=(4)+(5)+(6)=/ (B)=()+(4)+(6)=/ ( A/ B) si è verificato 0 robabilità di uscita > 3 sapendo che l uscita è pari ( 4) ( 6) / ( AB) ( B) / 3 TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 0

11 robabilità condizionata A Dato un evento A, riflette la nostra conoscenza in merito al verificarsi di A. (probabilità a priori) A volte questa conoscenza può cambiare se sappiamo che si è verificato un evento B Esempio: Esperimento: esecuzione di un test su due circuiti integrati, provenienti dallo stesso wafer di silicio e da una linea di produzione di alta qualità. Risultato: a accettato r respinto Uscite elementari: rr, ra, ar, aa Evento A: secondo circuito difettoso A ar, rr Evento B: primo circuito difettoso B ra, rr TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE

12 robabilità condizionata A Molto bassa (i circuiti provengono da una linea di produzione di alta qualità) Se è noto che il primo circuito è risultato difettoso, la probabilità che anche il secondo sia respinto aumenta: (i due circuiti provengono dallo stesso wafer) A/ B A Esempio: robabilità a priori: 0.0, ra 0.0, ar 0.0, aa rr Secondo circuito respinto A rr ar 0.0 rimo circuito respinto rr ra 0. 0 B TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE

13 robabilità condizionata A/ B AB B ambedue respinti primo respinto rr 0.0 A/ B 0.5 B 0.0 TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 3

14 Indipendenza Definizione: due eventi A e B si dicono indipendenti se e solo se: AB A B Equivalentemente: due eventi A e B sono indipendenti se e solo se: A/ B A B / A B Il fatto che si sia verificato B non altera la probabilità di A (e viceversa). Indipendenti e disgiunti non sono sinonimi Due eventi A e B sono disgiunti se non hanno uscite elementari in comune B AB 0 A B A B A TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 4

15 Indipendenza, mutua esclusione Esempio: Lungo una strada ci sono tre semafori. er semplicità possono essere soltanto color rosso o color verde e ogni uscita elementare (sequenza di tre semafori) sia equiprobabile Spazio dei campioni: S rrr, rrv, rvr, rvv, vrr, vrv, vvr, vvv Evento R i : semaforo i-esimo rosso Evento V i : semaforo i-esimo verde TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 5

16 R R V R Indipendenza, mutua esclusione rrr, rrv, vrr, vrv R rvr, rvv, vvr, vvv V V R V R R R 0 V eventi disgiunti eventi dipendenti rrr, rrv, vrr, vrv R rvr, rvv, rrv, rrr R R rrr, rrv eventi non disgiunti 4 R R eventi indipendenti R R TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 6

17 Alcune formule Formula di Baes ( A/ B) ( B) ( B / A) ( A) Teorema della probabilità totale Sia: artizione di S Ei i N N i Ei EiE j S i j Allora: N ( A) ( A/ E ) ( ) i i E i Se (E /E )=(E ) E e E si dicono statisticamente indipendenti Se due eventi sono indipendenti (E E )=(E ) (E ) TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 7

18 Esempio Scatole con componenti elettronici % 500 0% 000 0% Esperimento : scelta a caso una scatola, estrazione a caso di un componente Valutare la probabilità che il componente sia difettoso Esperimento : Esame del componente estratto, che risulta difettoso Valutare la probabilità che il componente provenga dalla scatola N. 3 TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 8

19 Esempio S: 3500 uscite elementari Evento B i : Tutti i componenti della scatola i (i =,, 3) Gli eventi B i costituiscono una partizione di S La scatola è scelta a caso ( B ) Dai dati del problema si deduce che: Dal teorema della probabilità totale: i ( Diff ) ( Diff B ) ( B ) ( Diff B ) ( B ) ( Diff B ) ( ) 3 B TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 9 3 ( Diff B ) ( Diff B ) ( Diff B )

20 Esperimento : Esempio Esame del componente estratto, che risulta difettoso Valutare la probabilità che il componente provenga dalla scatola N. 3 La probabilità cercata è: ( B Diff ) 3 er mezzo della formula di Baes: ( B Diff ) ( Diff B3 ) ( B ) ( Diff ) TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 0

21 Calcolo combinatorio a) Se l esperimento A ha n possibili uscite elementari e l esperimento B ne ha k, allora ci sono nk uscite elementari quando si eseguono entrambi gli esperimenti A = lancio di una moneta (T,C) B = lancio di un dado (,,3,4,5,6) C = lancio di una moneta e di un dado (T,T,T3,T4,T5,T6,C,C,C3,C4,C5,C6) b) In generale, se un esperimento E è composto da k subesperimenti E, E k, ove E i ha n i uscite elementari, k allora E ha i ni uscite elementari TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE

22 Calcolo combinatorio Esempio: quante sono le possibili sequenze ordinate di 5 carte estratte da un mazzo di 5 carte? ! Quante sono le possibili sequenze ordinate di n carte estratte da un mazzo di N carte? N ( N )( N )...( N n ) n - permutazioni di N oggetti distinti N! ( N n)! TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE

23 Calcolo combinatorio c) Sequenze non ordinate (combinazioni) ur comprendendo gli stessi oggetti, due n permutazioni di N oggetti possono essere diverse, se in esse gli oggetti sono disposti secondo un ordine differente. Se l ordine è irrilevante, si parla di combinazioni di n oggetti scelti tra N oggetti distinti oiché le sequenze comprendenti gli stessi n oggetti sono in numero di n!, il numero di n combinazioni è : n! N! N ( N n)! n TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 3

24 Calcolo combinatorio Una squadra di basket ha giocatori. In quanti modi diversi si possono scegliere i 5 partenti? 5 Risposta: 46 Si scelgano 7 carte da un mazzo di 5 carte. Qual è la probabilità di non trovare neanche una donna? Risposta: ci sono 5 H 7 possibili mani di 7 carte. Ognuna di esse ha 48 probabilità / H. Ci sono H NQ mani di 7 carte senza una 7 donna. oiché tutte le mani sono equiprobabili, la probabilità di non trovare neanche una donna in 7 carte è: H NQ H TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 4

25 Calcolo combinatorio d) Sequenze con ripetizione Sono sequenze di n oggetti estratti da N oggetti distinti, immaginando che ad ogni estrazione (subesperimento) l oggetto precedentemente estratto venga re-inserito negli N possibili oggetti Il loro numero è N n Esempio: quante sono le colonne distinte del Totocalcio? N = 3 (numero oggetti distinti,,x) n = 3 (lunghezza delle sequenze) TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 5

26 rove ripetute indipendenti Si consideri un esperimento che consiste nel ripetere più volte la medesima prova. Ogni volta il risultato può essere successo con probabilità p o insuccesso con probabilità -p. Inoltre il risultato di ciascuna prova è indipendente dall esito delle precedenti. Le uscite dell esperimento sono sequenze di successi e insuccessi, rappresentabili ad esempio come sequenze di uni e di zeri. Sia S k, n l evento k successi in n prove a) Ogni uscita con k successi ha probabilità p k (-p) n-k n b) Ci sono uscite che hanno k successi. k Quindi: n k nk p ( p) S k, n k TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 6

27 Definizione: Variabili aleatorie legge di corrispondenza tra uscite elementari e numeri reali s s 4 s 3 s S E possibile definire degli eventi tramite una variabile aleatoria NB. Es : A { B { C { }, } }, Nome della variabile aleatoria Numero reale, valore eventualmente assunto dalla variabile aleatoria TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 7

28 Funzione di distribuzione Definizione: F ( ) ( ) NB! Consente di valutare la probabilità di eventi espressi tramite : ( ( ( ) ) F ( ) F ( ) ( ) F ( ) ) F TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 8

29 S insieme discreto Lancio di un dado Esempio F ( ) TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 9

30 roprietà Osservazioni: La funzione di distribuzione presenta una discontinuità in corrispondenza ai valori k assunti (con probabilità 0 ) dalla variabile aleatoria In corrispondenza ai valori k la funzione di distribuzione presenta un salto pari a ( k ) ) F( ) 0 ) F ( ) 0, F ( ) F ( ) F ( ) 3) 4) F ( ) discontinua in se ( s; s ) 0 TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 30

31 Esempio S insieme continuo = segnale telefonico, di ampiezza limitata tra e F ( ) In questo caso F ( ) è continua ( ; ) 0 ( ) 0 TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 3

32 Esempio S insieme continuo, con valori con probabilità 0 = segnale telefonico, con ampiezza tra e, limitato all intervallo 0.5 e +0.5 ( ) 0 ( ) 0 F ( ) TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 3

33 Densità di probabilità Definizione: f ( ) df d Significato: Se S discreto: f 6 4 ( ) ( i ) ( i ) f N i ( ) Esempio: lancio del dado TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 33

34 roprietà ) f( ) 0 ) f ( ) d ( ) f d 3) ( ) ( ) f d 5) ( ) ( ) 4) ( ) f d TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 34

35 Densità di probabilità importanti Uniforme f ( ) f ( ) b 0 a a altrove b b a a b Gaussiana (normale) f ( ) e ( ) f ( ) valor medio varianza TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 35

36 TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 36 Densità di probabilità importanti Binomiale (prove ripetute) In corrispondenza ad un esperimento, consideriamo l evento A successo e l evento insuccesso. Sia: A p A p A variabile aleatoria : = numero di successi in N prove consecutive indipendenti assume i valori 0,,, N con probabilità: k N k p p k N k ) ( } { ( ) ( ) N 0 k k N k k p p k N f ) ( ( )!!! k k N N k N

37 Variabile aleatoria funzione di una variabile aleatoria S g ( ) g( ) s 0 g 0 0 ( s) ( s) Dette i ( k ) ( ) dell equazione ( ) ( 3) 0 (i=,,..,n) le soluzioni g ( ( k) ) i i, si ha: f ( ) i f g' ( ( ) ) i ( ) ( ) i f g' ( ( ) ) i ( ) ( ) i... f g' ( ( n) ) i ( n) ( ) i TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 37

38 Valor medio di : Medie di variabili aleatorie E er variabili casuali discrete: E f ( ) d m.. ( ) i i i i d ( ) i i d, i i i m Valor medio di =g(): f ( ) d ma anche Eg ( ) g( ) f( ) TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 38 formula importantissima!!! d

39 E E n n f ( ) Medie importanti d n ( ) n m ( m ) f ( ) Momento di ordine n d Momento centrale di ordine = Varianza ( ) E ( ) m ( m ) f ( ) Relazione importante: Momento centrale di ordine n E m d TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 39

40 Esempi ) variabile aleatoria uniformemente distribuita tra a e a m f a a ( ) d d 0 a a a a d a 3 ) variabile aleatoria gaussiana: ( ) m e d ( ) e ( ) d TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 40

41 Due variabili aleatorie S 4 0 s 3 s s 4 s F Funzione di distribuzione congiunta (, ), F (, ) F ( ),,, F (, ) F (, ), F (, ) F (, ) F (, ) F (, ) TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 4

42 TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 4 Funzione di distribuzione congiunta ( ) ( ) F F,,, ( ) ( ) ( ) ( ) F F F F,,,,, ( ) F,, ( ) ( ) F F,,,

43 Densità di probabilità congiunta Definizione: f (, ) F (, ) Da ( ) a F (, ) f, ( ) f ( u v) F, dvdu, oiché f (, ) d d d d, (,) D f ( ), D dd TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 43

44 Relazioni importanti f f ( ) f (, ) ( ) f (, ) d d F ( ) F ( ) F, ( ) F (,) Variabili statisticamente indipendenti: e sono indipendenti se gli eventi: R e A R B sono indipendenti, qualunque siano gli insiemi R A e R B rispettivamente sugli assi e In questo caso:, F (, ) F ( ) F ( ) f (, ) f ( ) f ( ) TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 44

45 Esempio Nella stazione ferroviaria A tra le 8.00 e le 8.0 arrivano (in maniera completamente casuale) un treno da Nord ed uno da Sud. Istante di arrivo (in secondi a partire dalle 8.00) del treno proveniente da Nord Idem per il treno proveniente da Sud robabilità che il treno da Nord arrivi tra le 8.03 e le 8.04 e che quello da Sud arrivi tra le 8.0 e le 8.05: 80 40, TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 45

46 Variabili aleatorie incorrelate Due variabili casuali si dicono incorrelate se: E E E indipendenza incorrelazione ma in generale: incorrelazione indipendenza TEORIA DEI SEGNALI LAUREA IN INGEGNERIA DELL INFORMAZIONE 46