Bayes, PDF, CDF. Renato Mainetti

Transcript

1 Bayes, PDF, CDF Renato Mainetti

2 Importiamo i dati di un esperimento Censimento volatili isola di Nim: 100 volatili vivono su quest isola 30 piccioni marroni (classe 1) 20 piccioni bianchi (classe 2) 10 gabbiani marroni(classe 3) 40 gabbiani bianchi (classe 4) 28/04/2016 Bayes e Data Cleaning - Lezione 8 2

3 Esperimento: Carichiamo il file isola.txt e contiamo quanti volatili ci sono per tipo: >> isola = load('isola.txt') >> hist(isola) >> volatili = hist(isola, [ ]) oppure >> volatili = hist(isola, unique(isola)) 28/04/2016 Bayes e Data Cleaning - Lezione 8 3

4 Statistiche volatili: Marroni Bianchi Piccioni 30% 20% Gabbiani 10% 40% 28/04/2016 Bayes e Data Cleaning - Lezione 8 4

5 Statistiche volatili: Marroni Bianchi Marginale specie (somma elementi riga) Piccioni 30% 20% 50% Gabbiani 10% 40% 50% Marginale colore (somma elementi colonna) 40% 60% 28/04/2016 Bayes e Data Cleaning - Lezione 8 5

6 Probabilità condizionata e congiunta: (inferenza di Bayes) P(a b) = P(a AND b) / P(b) P(a AND b) è probabilità congiunta Vediamo un volatile di un colore ma non sappiamo riconoscere la specie cosa facciamo? Inferiamo probabilità di specie dato il colore : Marroni Bianchi P(S G C M ) = (P(C M S G )*P(S G )) / P(C M ) Piccioni 75% 33% Gabbiani 25% 67% 28/04/2016 Bayes e Data Cleaning - Lezione 8 6

7 Probabilità condizionata e congiunta: (inferenza di Bayes) P(a b) = P(a AND b) / P(b) P(a AND b) è probabilità congiunta Vediamo un volatile di una specie ma non sappiamo riconoscere il colore cosa facciamo? Inferiamo probabilità di colore data la specie : P(C M S G ) = (P(S G C M ) * P(C M )) / P(S G ) Marroni Bianchi Piccioni 60% 40% Gabbiani 20% 80% 28/04/2016 Bayes e Data Cleaning - Lezione 8 7

8 Esempio Malattia dei puntini calcolare la probabilità di avere la malattia dati i puntini % likelihood = prob di avere puntini data la malattia smallpox pspotsgsmallpox = 0.9; % conoscenza a priori = prob di avere la malattia smallpox psmallpox = 0.001; % likelihood = prob di avere puntini sulla popolazione pspots = 0.081; 28/04/2016 Bayes e Data Cleaning - Lezione 8 8

9 Esempio Malattia dei puntini calcolare la probabilità di avere la malattia dati i puntini % likelihood = prob di avere puntini data la malattia chickenpox pspotsgchickenpox = 0.8; % conoscenza a priori = prob di avere la malattia chickenpox pchickenpox = 0.1; % likelihood = prob di avere puntini sulla popolazione pspots = 0.081; 28/04/2016 Bayes e Data Cleaning - Lezione 8 9

10 Risultati possibili test binario: P(O 1 S 1 ) = True Positive P(O 1 S 0 ) = False Positive P(O 0 S 1 ) = False Negative P(O 0 S 0 ) = True Negative Il test perfetto, che non fallisce mai, avrebbe : (true positive) e (true negative) uguale a =? 28/04/2016 Bayes e Data Cleaning - Lezione 8 10

11 Distribuzione di probabilità: (probability distribution function) Ci permette di descrivere in termini probabilistici un fenomeno aleatorio nel tempo, cioè che sia caratterizzato da una variabile aleatoria. (wiki) Per prima cosa iniziamo a distinguere il caso discreto dal caso continuo. Variabile aleatoria discreta -> moneta, dadi, etc. Variabile aleatoria continua -> altezza persone, dimensione pesce, etc. 28/04/2016 Bayes e Data Cleaning - Lezione 8 11

12 Variabile aleatoria discreta L insieme dei possibili valori(esito) è finito, numerabile, discreto. Nel lancio della moneta ho due eventi possibili (T/C) Pt = ½; Pc = ½; Nel lancio dei dadi ho 6 eventi possibili (1,2,3,4,5,6) Pn = 1/6; 28/04/2016 Bayes e Data Cleaning - Lezione 8 12

13 Funzione di ripartizione (cumulative distribution function) Ci aiuta a studiare le distribuzioni di probabilità Esempio del dado: F(X 1 ) = 1/6 F(X 2 ) = 1/6 + 1/6 = 2/6 F(X 3 ) = 1/6 + 1/6 + 1/6 = 3/6 F(X 4 ) = 1/6 + 1/6 + 1/6 + 1/6 = 4/6 F(X 5 ) = 1/6 + 1/6 + 1/6 + 1/6 + 1/6 = 5/6 F(X 6 ) = 1/6 + 1/6 + 1/6 + 1/6 + 1/6 + 1/6 = 6/6 Somma dei valori precedenti o uguali a un dato valore associato ad un blocco della partizione. (Somma totale = 1) 28/04/2016 Bayes e Data Cleaning - Lezione 8 13

14 Passiamo ora al caso continuo: (variabile aleatoria continua) Abbiamo un numero infinito di probabilità per tutti i valori compresi in un intervallo. 28/04/2016 Bayes e Data Cleaning - Lezione 8 14

15 Funzione di Ripartizione Nel caso continuo la funzione di ripartizione assume un significato ancora più importante. E la somma di tutte le probabilità precedenti una probabilità data. Poi vediamo qualche esempio anche in matlab 28/04/2016 Bayes e Data Cleaning - Lezione 8 15

16 Distribuzione uniforme (pdf) Consideriamo la variabile casuale X che assume tutti i valori nell intervallo [a;b] con funzione di densità f(x) = k La probabilità totale di X su: [a;b] è uguale a 1 Calcoliamo il valore di k: a b k dx = 1 Area rettangolo? B * H Base = b-a Altezza = 1/(b-a) 28/04/2016 Bayes e Data Cleaning - Lezione 8 16

17 Distribuzione uniforme (cdf) 28/04/2016 Bayes e Data Cleaning - Lezione 8 17

18 Altra distribuzione di esempio (pdf) h Quanto abbiamo detto che deve valere l area sottesa? Che valore deve assumere h? Provate a calcolarlo 28/04/2016 Bayes e Data Cleaning - Lezione 8 18

19 Altra distribuzione di esempio (pdf) ½ h Variabile casuale G, non uniforme, i possibili valori sono tutti tra 1 e 5. La somma totale delle probabilità abbiamo detto che deve essere uguale a 1! Area triangolo = (b*h) / 2 ½ * 4 * h = 1 2h = 1 h = ½ Cosi possiamo dire di aver costruito una distribuzione di probabilità legittima per la nostra variabile casuale G! 28/04/2016 Bayes e Data Cleaning - Lezione 8 19

20 Calcoliamo la probabilità di un intervallo: Vogliamo ad esempio calcolare: P(2 G 3) =? Idee su come possiamo calcolarla? ½ h /04/2016 Bayes e Data Cleaning - Lezione 8 20

21 Calcoliamo la probabilità di un intervallo: Vogliamo ad esempio calcolare: P(2 G 3) =? Area del trapezio : ((B+b)*altezza)/2 O più semplicemente area rettangolo più area triangolo. Quanto misura f(g) in 2? Misura ¼, infatti saliamo su due intervalli equidistanti (1->2->3) di ½, quindi su un intervallo (1->2) saliamo di ¼. Calcoliamo area: ((½ + ¼) * 1) /2 = (¾) /2 = ¾ * ½ = 3/8 ½ ¼ h /04/2016 Bayes e Data Cleaning - Lezione 8 21

22 Calcoliamo la probabilità di un intervallo: Vogliamo ad esempio calcolare: P(g=3) =? Idee su come possiamo calcolarla? ½ h /04/2016 Bayes e Data Cleaning - Lezione 8 22

23 Calcoliamo la probabilità di un intervallo: Vogliamo ad esempio calcolare: P(g=3) =? Questa probabilità è = 0 (area nulla) ½ h /04/2016 Bayes e Data Cleaning - Lezione 8 23

24 Media e Varianza(intuitivamente) Il valore medio di una variabile aleatoria rappresenta la previsione teorica del valore che mediamente tale variabile assumerà nell ipotesi di eseguire un elevato numero di prove. Es. dado: m = M(X) = 1 1/ / / / / /6 = 21/6 = 7/2 = 3,5 Ovvero tirando il dando molte volte e facendo la media dei valori usciti troverò 3,5 Varianza: Indice che misura quanto il valore medio si discosta dai dati, ovvero misura la dispersione dei valori intorno al valore medio. 28/04/2016 Bayes e Data Cleaning - Lezione 8 24

25 Distribuzioni di probabilità in matlab: Proviamo ad eseguire il comando: >> disttool Possiamo vedere le varie distribuzioni di probabilità che matlab ci mette a disposizione, con le rispettive funzioni di ripartizione. 28/04/2016 Bayes e Data Cleaning - Lezione 8 25

26 Calcoliamo probabilità con matlab di distribuzione Normale/Gaussiana %creiamo vettore uniforme tra -4 e 4 con passo 0.01 >> x = -4:0.01:4; %creiamo la pdf con il comando normpdf, media 0 varianza 1 >>y = normpdf(x,0,1) %plot della gaussiana >>plot(x,y) 28/04/2016 Bayes e Data Cleaning - Lezione 8 26

27 Calcoliamo probabilità con matlab di distribuzione Normale/Gaussiana %creiamo vettore che contiene intervallo >> z = [-1 1]; %calcoliamo la cdf(cumulative) in quei valori per una gaussiana con media 0 e varianza 1 >>F = normcdf(z,0,1) %calcolo probabilità eseguendo differenza tra i due valori ricavati >> prob = F(2) F(1) 28/04/2016 Bayes e Data Cleaning - Lezione 8 27