Statistica e analisi dei dati Data: 14 Marzo 2016 Introduzione al Teorema di ayes - Regola delle probabilitá totali Docente: Prof. Giuseppe occignone Scriba: Diedolo Luca 1 Teorema di ayes Il teorema o regola di ayes é un approccio classico per la manipolazione di probabilitá, centrale per l interconnessione fra la probabilitá e la statistica (inferenza). 2 Regola delle probabilitá totali Uno dei prerequisiti per iniziare a studiare il teorema di ayes é la regola (o teorema) delle probabilitá totali. Sia S il nostro spazio campionario e siano 1, 2,, n eventi che partizionano S, sia inoltre S un evento contenuto in S di nostro interesse, dunque vale la seguente: P () = P ( 1 ) + P ( 2 ) + + P ( n ) = = P ( 1 ) P ( 1 ) + P ( 2 ) P ( 2 ) + + P ( n ) P ( n ) (1) 2.1 Esempio 1 Vediamo un primo esempio per capire meglio questa regola. S Figura 1: Spazio campionario per l esempio 1 Il nostro spazio campionario S risulta diviso in due partizioni e, con sottoinsieme di S, come mostrato in Figura 1, dunque valgono le seguenti: S = 1
2 Introduzione al Teorema di ayes - Regola delle probabilitá totali pplicando ora la misura di probabilitá ottieniamo... = ( ) ( ) E per la regola del prodotto... P () = P ( ) + P ( ) P () = P () P ( ) + P ( ) P ( ) bbiamo dunque dimostrato con un esempio la regola delle probabilitá totali (1). Qui sotto presentiamo il chance tree (Figura 2) per chiarire ancora meglio questo esempio. P () P ( ) P ( ) : P () P ( ) P ( ) P ( ) P ( ) : P ( ) P ( ) Figura 2: Chance tree per l esempio 1 2.2 Esempio 2 - Monete e Urne Vediamo ora come applicare la regola (1) in un piccolo esperimento. bbiamo una moneta sbilanciata e due urne contenenti palline bianche e nere, lanciamo la moneta e sulla base dell esito peschiamo da un urna piuttosto che dall altra, vogliamo predire la probabilitá di pescare una pallina nera sulla base del seguente modello generativo (Tabella 1): Moneta Sbilanciata Urna 1 Urna 2 - palline, 3 nere e 2 bianche palline, 4 nere e 1 bianca P (T ) = 4 10 P (N) = 3 P (N) = 4 P (C) = 6 10 P () = 2 P () = 1 Tabella 1: Modello generativo per l esempio 2 Dopo aver osservato che la probabilitá di pescare dall urna 1 equivale alla probabilitá che esca testa sulla moneta e la probabilitá di pescare dall urna 2 equivale alla probabilitá che esca croce (P (U 1 ) = P (T ) e P (U 2 ) = P (C)) costruiamo il seguente chance tree (Figura 3):
Introduzione al Teorema di ayes - Regola delle probabilitá totali 3 P (U 1 ) 4 10 U 1 P (N U 1 ) P ( U 1 ) 2 3 N P (U 2 ) 6 10 U 2 P (N U 2 ) 4 P ( U 2 ) N 1 Figura 3: Chance tree per l esempio 2 L evento di nostro interesse é N, applichiamo quindi la regola delle probabilitá totali (1) per trovare P (N). P (N) = P (U 1 ) P (N U 1 ) + P (U 2 ) P (N U 2 ) = = 4 10 3 + 6 10 4 = 12 0 + 12 2 = 18 2 (2) 2.3 Esempio 3 - Monete Sbilanciate Questo esperimento prevede il lancio di una moneta, scelta fra un insieme di 3 monete con probabilitá uniforme (P () = P () = P (C) = 1 3 ), vogliamo prevedere la probabilitá complessiva associata all evento esce testa. Moneta Moneta Moneta C P (T ) = 1 P (T ) = 1 2 P (T C) = 0 Tabella 2: Modello generativo per l esempio 3 Utilizziamo ancora una volta la regola (1): P (T ) = P () P (T ) + P () P (T ) + P (C) P (T C) = = 1 3 1 + 1 3 1 2 + 1 3 0 = 1 3 + 1 6 = 1 2 (3) Come ci aspettavamo, essendo le monete fra di loro bilanciate e essendo sotto ipotesi di probabilitá uniforme, la nostra P (T ) equivale a P (T ) di qualunque moneta bilanciata.
4 Introduzione al Teorema di ayes - Regola delle probabilitá totali 2.4 Esempio 4 - Torneo di Scacchi Vogliamo calcolare la probabilitá di vittoria in un torneo di scacchi considerando che esistono 3 tipi di giocatori diversamente forti. S: Giocatori T 2 T 1 T 3 Figura 4: Spazio campionario per l esempio 4 Considerando dunque la figura 4 e il seguente modello generativo (Tabella 3), proviamo come al solito a predire la probabilitá complessiva di vincere (4). T 1 T 2 T 3 0% 2% 2% P (V T 1 ) = 0.3 P (V T 2 ) = 0.4 P (V T 3 ) = 0. Tabella 3: Modello generativo per l esempio 4 P (V ) = P (T 1 ) P (V T 1 ) + P (T 2 ) P (V T 2 ) + P (T 3 ) P (V T 3 ) = = 0. 0.3 + 0.2 0.4 + 0.2 0. = 0.37 (4) Essendo svantaggiati con la maggior parte dei giocatori ci aspettavamo una probabilitá bassa. 2. Esempio - Preparazione del corso di Statistica Vediamo ora un esempio piú complesso che introduce anche il concetto di dinamismo o evoluzione nel tempo. Consideriamo i due eventi complementari i e i = I i che significano rispettivamente sono avanti con la preparazione al tempo i e sono indietro con la preparazione al tempo i, a monte di un indagine statistica ricaviamo il seguente modello generativo (rappresentato con un chance tree in Figura ): Supponiamo ora di essere interessati a scoprire la probabilitá di essere avanti con la preparazione in un tempo k, applichiamo quindi la (1): P ( i+1 ) = P ( i ) P ( i+1 i ) + P (I i ) P ( i+1 I i ) = = 0.8 P ( i ) + 0.4 P (I i ) = 0.4 (2 P ( i ) + P (I i )) = = 0.4 (2 P ( i ) + P ( i )) = 0.4 (2 P ( i ) + 1 P ( i )) = = 0.4 (1 + P ( i )) ()
Introduzione al Teorema di ayes - Regola delle probabilitá totali P ( i ) i P ( i+1 i ) 0.8 P (I i+1 i ) 0.2 i+1 I i+1 P (I i ) I i P ( i+1 I i ) 0.4 P (I i+1 I i ) i+1 0.6 I i+1 Figura : Chance tree per l esempio Quello che abbiamo appena ottenuto in () applicando (1) prende il nome di definizione iterativa o ricorsiva del modello probabilistico generativo dinamico (con evoluzione nel tempo). Per procedere verso il calcolo di P ( k ) manca solo una cosa: dato che () é una definizione ricorsiva bisogna fissare il caso base ovvero P ( 1 ). Fissato lui possiamo procedere verso il calcolo di P ( 2 ), P ( 3 ),, P ( k ). Fissiamo per esempio P ( 1 ) = 0.8 e k = 3, qui sotto riportiamo i calcoli (6) che ci permettono di calcolare P ( 3 ) P ( 3 ) = 0.4 (1 + P ( 2 )) = 0.4 (1 + 0.4 (1 + P ( 1 ))) = = 0.4 (1 + 0.4 (1 + 0.8)) = 0.688 (6) 2.6 Esempio 6 - ffidabilitá dei Sistemi Nel corso del nostro studio dell affidabilitá dei sistemi abbiamo visto solo le configurazioni serie e parallelo, ci manca da vedere la configurazione a ponte (Figura 6). Il componente che qui fa la differenza é C, il suo funzionamento trasformerá il nostro sistema in due sistemi differenti mostrati in Figura 7, chiamiamo C l evento associato al funzionamento di C e C l evento associato al suo non funzionamento. Costruiamo dunque il nostro chance tree (Figura 8) e vediamo come calcolare X con (1): X = P (X) = P (C) P (X C) + P ( C) P (X C) (7)
P ( C) 6 Introduzione al Teorema di ayes - Regola delle probabilitá totali X C D Figura 6: Sistema in configurazione ponte X C X C D Figura 7: Trasformazioni del sistema sulla base del funzionamento di C P (C) C P (X C) C P (X C) Figura 8: Chance tree per l esempio 6