La probabilità: capire la realtà e prendere decisioni migliori

Transcript

1 Liceo Scientifico Copernico, Prato 14 gennaio 2014 Liceo Classico Michelangiolo, Firenze 10 febbraio 2014 La probabilità: capire la realtà e prendere decisioni migliori Leonardo Grilli grilli@disia.unifi.it local.disia.unifi.it/grilli

2 Il ruolo del caso nella nostra vita: ignorarlo o comprenderlo? Gli esseri umani sono sempre stati affascinati e, contemporaneamente, terrorizzati dal caso. La verità è che, quando entra in gioco il caso, possiamo fuggire, ma non possiamo nasconderci. Moltissimi aspetti della nostra vita sono determinati da eventi che non controlliamo completamente, e l incertezza è ineliminabile. Abbiamo due opzioni: possiamo lasciare che l incertezza prevalga su di noi o possiamo imparare a comprendere il caso. Se optiamo per la seconda soluzione, faremo scelte migliori e impareremo a sfruttare la casualità per i nostri scopi. J.S. Rosenthal, Le regole del caso La probabilità è il concetto chiave per la comprensione del caso Leonardo Grilli (DiSIA) 2

3 La probabilità Probabilità: grado di fiducia che un individuo razionale attribuisce al verificarsi di un evento 0 P(E) 1 per qualsiasi evento E Per assegnare un valore alla probabilità l individuo razionale usa tutte le informazioni disponibili sulla struttura dell esperimento e sulle sue precedenti realizzazioni Vediamo due situazioni in cui vi sono delle semplici regole per determinare il valore della probabilità: Approccio classico Approccio frequentista Certo Impossibile Leonardo Grilli (DiSIA) 3

4 Probabilità: approccio classico Consideriamo un esperimento casuale i cui risultati possibili sono in numero finito ed sono equiprobabili (= stessa probabilità). In questa situazione la probabilità di un evento E è data da PE ( ) Numero di risultati in E Numero di risultati possibili casi favorevoli casi possibili Es. nel lancio di un dado, poniamo A = {Numero pari} = {2,4,6} Assumendo che tutti i punti campione abbiano la stessa probabilità (cioè che il dado sia bilanciato) 3 PA ( ) L assunzione che tutti i punti campione abbiano la stessa probabilità (cioè che il dado sia bilanciato) è cruciale: se è vera il valore 0.5 è ben calcolato, se è falsa il valore 0.5 non va bene. Tuttavia, per verificare la plausibilità di tale assunzione bisogna ripetere più volte l esperimento Leonardo Grilli (DiSIA) 4

5 Probabilità: approccio frequentista Quando si osserva una serie di prove e si assume che le prove siano ripetizioni indipendenti e in identiche condizioni di un certo esperimento aleatorio la probabilità di E è calcolata come Pˆ ( E ) n n n E Numero di prove in cui si è verificato Numero totale di prove E Es. nel lancio di un dado, poniamo A = {Numero pari} = {2,4,6} e supponiamo che l esperimento aleatorio lancio del dado venga ripetuto 50 volte, in 23 delle quali è uscito un numero pari e quindi si è verificato A. Pertanto P(A) = 23/50=0.46. Osservando altre prove la stima si modifica (es. lanciando il dado altre 50 volte l evento A si potrebbe verificare 26 volte e quindi la nuova stima sarebbe (23+26)/(50+50)=0.49. Per fortuna al crescere del numero di prove la stima diventa sempre più precisa e converge ad un valore (in questo esempio, se il dado è bilanciato converge a 0.5) PE ( ) lim Pˆ ( E) n n limite a cui tende la proporzione di prove in cui si verifica E quando il numero di prove tende a infinito Leonardo Grilli (DiSIA) 5

6 Eventi indipendenti e la regola moltiplicativa Il dubbio non è piacevole, ma la certezza è ridicola. Voltaire Leonardo Grilli (DiSIA) 6

7 Moltiplicare le probabilità? La probabilità che due eventi possibili A e B si verifichino entrambi è uguale al prodotto delle singole probabilità se e solo se i due eventi sono indipendenti P(A e B) = P(A) P(B) se e solo se A e B sono indipendenti Due eventi sono indipendenti quando il verificarsi dell uno non modifica la probabilità del verificarsi dell altro. Ad esempio, consideriamo i seguenti eventi: E1 = «indossare calzini a righe» E2 = «arrivare tardi all appuntamento con la fidanzata» E3 = «litigare con la fidanzata» Verosimilmente E1 è indipendente sia da E2 che da E3, mentre E3 non è indipendente da E2! Leonardo Grilli (DiSIA) 7

8 Copie di sicurezza La regola moltiplicativa spiega perché è una buona idea fare più copie dei file Ad es., ho due copie della mia canzone preferita, una sullo smartphone e una sul notebook A = «la copia sullo smartphone va persa» P(A)=1/500 B = «la copia sul notebook va persa» P(B)=1/2000 (la copia può andare persa per vari motivi: file corrotto, dispositivo distrutto o smarrito ) Siccome posso ragionevolmente assumere che i due eventi siano indipendenti, la probabilità che si verifichino entrambi (cioè che la mia canzone preferita vada irrimediabilmente persa) è P(A e B) = P(A) P(B) = 1/500 * 1/2000 = 1/ Ok, posso stare tranquillo! Leonardo Grilli (DiSIA) 8

9 Calcoli errati in tribunale La probabilità svolge un ruolo importante nei processi e talvolta gli avvocati o gli esperti di parte effettuano dei calcoli di probabilità ma a volte si sono verificati errori clamorosi Un caso di errore con conseguenze gravissime è quello di Sally Clark: nel 1999 una corte Britannica condannò Sally Clark per l omicidio dei due suoi bambini morti improvvisamente all età di 11 e 8 settimane per cause ignote Leonardo Grilli (DiSIA) 9

10 Il caso Sally Clark Non furono trovate prove dell omicidio, né una valida motivazione. L accusa sosteneva il soffocamento volontario, la difesa parlava di cause naturali, la cosiddetta sindrome della morte in culla (SIDS) Un pediatra interpellato come esperto affermò che la probabilità che in una famiglia vi siano due casi di morte in culla è di circa 1 su 73 milioni. Infatti dai dati disponibili emerge che in una famiglia come quella di Sally Clark la morte in culla colpisce un bambino ogni 8500, per cui la probabilità è 1/8500 Il pediatra quindi calcolò la probabilità di due morti in culla come 1/8500 per 1/8500 La stima del pediatra venne considerata attendibile e costituì la prova principale per la condanna di Sally Clark Leonardo Grilli (DiSIA) 10

11 Il caso Sally Clark /cont. Come evidenziato dalla Royal Statistical Society, il calcolo del pediatra era completamente errato per almeno due motivi Una seconda «morte in culla» non è indipendente dalla prima perché vi sono cause genetiche (familiarità) è sbagliato moltiplicare a ripetizione la probabilità 1/8500; un altro esperto ha calcolato che in una famiglia in cui si è verificata una «morte in culla» i bambini successivi hanno una probabilità di 1/100 di morire per lo stesso motivo la probabilità di 2 «morti in culla» è 1/8500 *1/100 = 1/ Era stato accertato che il decesso del primo bambino era effettivamente dovuto a cause naturali (non vi erano dubbi), per cui la probabilità rilevante è 1/100 Un primo appello nel 2000 ha confermato la sentenza, ma un secondo appello nel 2003 ha assolto Sally Clark, rilasciata dopo tre anni di carcere questa esperienza ha segnato irrimediabilmente la donna, deceduta nel Leonardo Grilli (DiSIA) 11

12 Coincidenze e raggruppamenti casuali La teoria delle probabilità in fondo non è altro che buon senso ridotto a calcolo. Simon de Laplace Leonardo Grilli (DiSIA) 12

13 Identico primo numero estratto su due ruote del Lotto: quanto è raro? Nell estrazione del gioco del Lotto del 24 dicembre 2013 il numero 57 è uscito, come primo estratto, sulle ruote di Bari e Milano che coincidenza! In realtà non si tratta necessariamente di un evento così raro Infatti, la probabilità dipende dall impostazione del problema: Probabilità che esca 57 come primo estratto sia a Bari che a Milano: 1/90*1/90 = 1/8100 = (l indipendenza tra le estrazioni giustifica la moltiplicazione delle due probabilità) Probabilità che esca lo stesso numero come primo estratto sia a Bari che a Milano: 1/90 = Probabilità che, considerando tutte le 11 ruote, vi siano almeno due primi estratti identici: questa è più difficile, ma non troppo P(almeno due identici) = 1 P(tutti diversi) = = = Tutt altro che raro! 13

14 Stesso giorno di compleanno: un segno del destino? L approccio che abbiamo usato con il gioco del Lotto può essere applicato anche per calcolare la probabilità che alcune persone abbiano il compleanno lo stesso giorno: Probabilità che Tizio e Caio abbiano il compleanno entrambi in un giorno specifico (es. il 13 aprile): 1/365*1/365 = 1/ = Probabilità che Tizio e Caio abbiano il compleanno in un giorno qualunque ma identico : 1/365 = Probabilità che, in un gruppo di 7 persone, ve ne siano almeno due con il compleanno lo stesso giorno: P(su 7 almeno due identici) = 1 P(su 7 tutti diversi) = = = Un evento poco probabile, ma non così raro cosa accade con gruppi più numerosi, es. 50 persone? 14

15 Il problema del compleanno Generalizzando, possiamo calcolare la probabilità che in un gruppo di k persone ve ne siano almeno due con il compleanno lo stesso giorno: P(su kalmeno due identici) = 1 P(su k tuttidiversi) k +1 k prob = La tabella riporta la probabilità per alcuni valori di k Con un gruppo di 23 persone la probabilità di almeno due compleanni identici è di oltre il 50% Con un gruppo di 40 persone la probabilità supera 89% Con un gruppo di 60 persone trovare almeno due compleanni identici è quasi certo! Leonardo Grilli (DiSIA) 15

16 Raggruppamenti casuali Per sparare un punto a caso su una superficie possiamo generare in modo casuale le coordinate (in questo esempio usiamo una distribuzione uniforme tra 0 e 1 sia per la x che per la y) Proviamo a sparare 16 punti: siccome la superficie è divisa in 16 quadratini, ci aspettiamo in media 1 punto per quadratino Leonardo Grilli (DiSIA) 16

17 Raggruppamenti casuali /cont. Questo è il risultato di una estrazione casuale delle coordinate di 16 punti A fronte di un numero atteso di 1 punto per quadratino, osserviamo che la distribuzione dei punti è piuttosto variabile: ad es. vi sono molti quadratini con 0 punti, mentre un quadratino ha addirittura 6 punti! Leonardo Grilli (DiSIA) 17

18 Raggruppamenti casuali /cont. Nel quadratino con 6 punti il rapporto osservati su attesi è 6:1 In questo esempio abbiamo generato i punti a caso e quindi sappiamo che quel rapporto così elevato è solo frutto del caso ma studiando dati reali potremmo concludere che il quadratino con il rapporto 6:1 ha una concentrazione anomala di punti, creando inutile allarme Nei dati reali i quadratini sono aree geografiche e i punti rappresentano eventi registrati in certo intervallo di tempo, ad es. casi di tumore, incidenti stradali, omicidi E compito degli statistici valutare, di volta in volta, se un elevato rapporto osservati su attesi è spiegabile da un raggruppamento casuale oppure se è così grande da indicare una situazione anomala e far scattare l allarme Leonardo Grilli (DiSIA) 18

19 Raggruppamenti casuali /cont. Un raggruppamento casuale genera un rapporto osservati su attesi ancora più impressionante se l area di riferimento viene definita a posteriori, disegnandola attorno al gruppo di punti («effetto cecchino») In questo esempio, l ellisse ha un area pari a circa 1/5 di quadratino rapporto osservati su attesi = 4/(1/5) = 20 Leonardo Grilli (DiSIA) 19

20 Raggruppamenti casuali /cont. Raymond Richard Neutra (Dipartimento della sanità della California) afferma che prendendo in esame un tipico registro dei tumori (una banca dati sui tassi di incidenza locali di dozzine di tumori diversi) per i 5000 distretti della California, ci attendiamo di trovarne 2750 con un incidenza elevata di qualche forma di tumore, statisticamente significativa ma casuale L opinione pubblica è molto allarmata da queste situazioni di incidenza elevata e non ritiene verosimile che siano frutto del caso, per cui i dipartimenti di sanità sono indotti ad avviare molte indagini sulle possibili cause ambientali (es. inquinamento atmosferico, elettromagnetico etc.) che di solito non portano ad alcun risultato convincente Alan Bender (Dipartimento della sanità del Minnesota) afferma che queste indagini «sono un assoluto, totale e completo spreco dei dollari dei contribuenti» Leonardo Grilli (DiSIA) 20

21 Probabilità a priori e a posteriori: come valutare il risultato un test diagnostico? Leonardo Grilli (DiSIA) 21

22 Test diagnostico per la Stupidite Consideriamo una ipotetica malattia chiamata Stupidite che colpisce il 10% della popolazione (prevalenza) Prendiamo una persona a caso dalla popolazione. Se non conosciamo l esito del test diagnostico, la probabilità che abbia la malattia è detta a probabilità a priori (coincide con la prevalenza, in questo caso 10%) Supponiamo di fare la diagnosi usando il test di laboratorio StupiTest. Come tutti i test diagnostici, lo StupiTest è utile ma non è perfetto: Il test viene positivo (cioè, indica presenza di malattia) nel 70% dei soggetti malati (sensibilità del test) nel 20% dei soggetti sani (percentuale di falsi positivi) Leonardo Grilli (DiSIA) 22

23 Gli errori dei test diagnostici Realtà Esito test Positivo ( Malato) Negativo ( Sano) Malato Sano OK sensitività = 70% Falso positivo 1 specificità = 20% Falso negativo 1 sensitività = 30% OK specificità = 80% I due tipi di errore sono ben diversi, sia concettualmente che per le conseguenze! Leonardo Grilli (DiSIA) 23

24 Test diagnostico per la Stupidite /cont. Supponiamo che Tizio abbia effettuato il test, ottenendo un esito positivo: qual è la probabilità che Tizio sia davvero affetto da Stupidite? Dobbiamo calcolare la probabilità a posteriori Prendiamo una persona a caso dalla popolazione. Se sappiamo che ha effettuato il test ed è risultato positivo, la probabilità che abbia la malattia è detta a probabilità a posteriori Quanto vale la probabilità a posteriori? In questa situazione ipotetica, siccome il test è risultato positivo, la probabilità a posteriori deve essere maggiore di quella a priori (10%). E forse uguale alla sensibilità del test (70%)? La risposta si ottiene con la famosa formula di Bayes oppure con il metodo delle frequenze, cioè convertendo le probabilità in frequenze di una ipotetica popolazione vediamo come si applica questo metodo Leonardo Grilli (DiSIA) 24

25 Test diagnostico per la Stupidite /cont. Ricapitoliamo: I soggetti malati sono il 10% Tra i malati, il test viene positivo nel 70% dei casi Tra i sani, il test viene positivo nel 20% dei casi Cosa ci aspettiamo sottoponendo al test 100 soggetti? 10 sono malati e 90 sono sani Tra i 10 malati, il test viene positivo a 7 soggetti Tra i 90 sani, il test viene positivo a 18 soggetti Nel complesso il test viene positivo a 25 soggetti, di cui 7 malati e 18 sani se prendiamo un soggetto a caso tra i 25 che hanno effettuato il test con risultato positivo, la probabilità che sia malato è 7/25 = 28%: questa è la probabilità a posteriori! Prob a priori Prob a posteriori Sensibilità del test = test positivo = test negativo mmmmmmmmmm 0% 10% 28% 70% 100% 25

26 Screening per il cancro al seno: la probabilità stimata dai medici G. Gigerenzer nel libro Quando i numeri ingannano riporta i risultati di un esperimento, condotto negli anni Novanta, in cui ha sottoposto ad alcuni medici tedeschi (2/3 ospedalieri e 1/3 liberi professionisti) il seguente quesito: Per facilitare la diagnosi precoce del cancro al seno le donne, da una certa età in poi, vengono incoraggiate a sottoporsi a intervalli regolari a controlli sistematici, anche se non hanno alcun sintomo conclamato. Lei immagini di condurre, in una certa regione del paese, uno screening mammografico del cancro al seno, e supponga che riguardo alle donne fra i 40 e i 50 anni di questa regione, asintomatiche, che si sottopongono a una mammografia regolare si sappiano le seguenti cose: La probabilità che una di loro abbia il cancro al seno è dello 0.8%. Se una donna ha il cancro al seno, la probabilità che il suo mammogramma risulti positivo è del 90%; se non ha il cancro al seno, c è comunque una probabilità del 7% che il suo mammogramma sia positivo. Immaginiamo, dunque, una donna con un mammogramma positivo: quanto è probabile che abbia effettivamente il cancro? Leonardo Grilli (DiSIA) 26

27 Screening per il cancro al seno: la probabilità stimata dai medici /cont. La risposta si ottiene calcolando la probabilità a posteriori con i seguenti dati: I soggetti malati sono lo 0.8% (probabilità a priori) Tra i malati, il test viene positivo nel 90% dei casi (sensibilità) Tra i sani, il test viene positivo nel 7% dei casi (ovvero la specificità è del 93%) La risposta corretta è che una donna con mammogramma positivo ha una probabilità di avere effettivamente il cancro pari a 9.39% (questo è il valore ottenuto con la formula di Bayes, mentre con il metodo delle frequenze si ottiene una risposta con una approssimazione tanto migliore quanto maggiore è la dimensione della popolazione ipotetica in questo caso si dovrebbe usare almeno 1000) Le risposte fornite dai 24 medici sono state le seguenti: 8 hanno risposto 90% (cioè la sensibilità) 4 hanno risposto 1% (cioè la probabilità a priori) 8 hanno risposto tra 50% e 80% solo 4 hanno dato una risposta vicina al vero (di cui 2 in modo fortuito) 27

28 Legge dei grandi numeri e valore atteso La teoria della casualità è fondamentalmente una codificazione del senso comune, ma è anche il regno delle sottigliezze, un campo in cui famosi luminari hanno commesso errori madornali e in cui famigerati giocatori d azzardo hanno avuto intuizioni corrette. Leonard Mlodinow Leonardo Grilli (DiSIA) 28

29 Legge dei grandi numeri Frequenza relativa empirica di un evento A = numero di prove in cui A è vero diviso numero totale di prove Se le prove sono indipendenti e identiche, allora al crescere del numero di prove la frequenza relativa empirica di un evento A converge alla probabilità di A Quindi al crescere del numero di prove la frequenza relativa empirica diviene una stima sempre più precisa della probabilità Es. per P(A)=0.5, dopo un gran numero n di prove la frequenza relativa empirica è quasi certamente (circa al 99.7%) compresa nell intervallo ( / n, / n ) n=100 (0.3500, ) n=1000 (0.4526, ) n=10000 (0.4850, ) n= (0.4953, ) (questi calcoli sono basati sul teorema limite centrale) 29

30 Legge dei grandi numeri /cont. Esempio: 300 prove indipendenti con identica probabilità p=0.5 Francobollo svizzero in onore di Jakob Bernoulli, che mostra la formula e il grafico della legge dei grandi numeri (dimostrata da Bernoulli nel 1713) 30

31 Legge dei grandi numeri /cont. L esito di una specifica prova è imprevedibile, che sia la 1 a, la 10 a o la a (infatti le prove sono indipendenti e quindi quello che è successo prima è irrilevante) Tuttavia al crescere del numero di prove la frequenza relativa empirica diventa sempre più prevedibile Dunque, mentre a livello individuale è difficile fare previsioni, a livello aggregato si possono fare previsioni molto accurate. Questo è il motivo per cui il risultato delle singole giocate è imprevedibile, mentre il risultato del casinò è prevedibile con un piccolo margine di errore il singolo sinistro è imprevedibile, ma il risultato della compagnia di assicurazione è prevedibile con un piccolo margine di errore il sesso di un nascituro è imprevedibile, mentre in un anno in un grande ospedale la percentuale di nati maschi è vicinissima al 51% 31

32 Numeri ritardatari Tra i giocatori del lotto è diffusa la credenza (errata!) che i numeri ritardatari abbiamo maggiore probabilità di uscire (ogni numero ha probabilità 1/18 di essere estratto e quindi esce mediamente ogni 18 estrazioni) Nei lanci di moneta ciò equivale a credere che, se sono uscite meno Teste che Croci, allora in futuro usciranno più Teste per «compensare» il passato Supponiamo che in lanci siano uscite meno Teste che Croci: cosa possiamo prevedere per il lancio numero ? Ragionamento errato: siccome finora sono uscite meno Teste che Croci e nel lungo termine il numero di Teste deve essere circa uguale a quello di Croci, la probabilità di Testa è >0.5 Ragionamento corretto: siccome le prove sono identiche e indipendenti, il passato non conta niente e la probabilità di Testa è 0.5 (la moneta non ha memoria!!!) Leonardo Grilli (DiSIA) 32

33 Valore atteso Consideriamo un esperimento casuale i cui risultati possibili sono numerici (es. guadagni) valori x1 x2 x probabilità p p p 1 2 Il valore atteso (o speranza matematica) è la media dei possibili valori pesata con le rispettive probabilità VA x p x p x p k k k k p p p k Esempio: si lancia un dado, se esce 5 o 6 vinciamo 10 euro, altrimenti niente valori probabilità /3 1/3 VA euro 33

34 Scommesse alla roulette La roulette ha 38 numeri, di cui 18 rossi, 18 neri e 2 verdi (numeri 0 e 00): Supponiamo di puntare di 1 euro sul rosso Se esce rosso abbiamo 2 euro (1 puntato + 1 vinto) Se non esce rosso abbiamo 0 euro valori VA euro probabilità 20 / / Il valore atteso è l equivalente certo di un valore aleatorio (in questo caso si tratta del risultato della scommessa) Se la puntata sul rosso costasse euro, il gioco sarebbe equo Siccome la puntata costa 1 euro il gioco è a favore del banco (perdita attesa di euro per 1 euro puntato, cioè 5.3%) Leonardo Grilli (DiSIA) 34

35 Valore atteso e prove ripetute Il valore atteso approssima la media dei valori che si otterrebbero ripetendo molte volte l esperimento in modo indipendente e in identiche condizioni Nell esempio della roulette la perdita attesa è di euro a puntata: in una singola puntata tale valore è poco significativo poiché o si vince 1 euro o si perde 1 euro Invece, in una lunga serie di n puntate le frequenze relative di successo e insuccesso convergono a 18/38 e 20/38 e quindi la perdita media in n puntate converge a euro: ad es. n=1000 è una serie sufficientemente lunga per avere una buona approssimazione dopo 1000 puntate la perdita media per puntata sarà approssimativamente di euro (per una perdita totale di circa 53 euro) Leonardo Grilli (DiSIA) 35

36 Giocare a lungo rovina Ogni gioco di sorte (es. roulette, slot machine, lotteria) è a favore del banco, cioè per il giocatore il valore atteso è negativo (perdita) Per la legge dei grandi numeri, giocando ripetutamente il risultato medio realizzato dal giocatore si avvicina sempre più al valore atteso più a lungo si gioca, più è probabile che il risultato complessivo sia negativo: continuando a giocare all infinito la bancarotta è sicura (teorema della rovina del giocatore) Per il giocatore l unica speranza di chiudere con un saldo positivo è di fare poche puntate e smettere quando è in positivo Leonardo Grilli (DiSIA) 36

37 Le scommesse di Chevalier de Méré Antoine Gombaud, nato in Francia nel 1607 e noto come Chevalier de Méré, era un nobile con la passione del gioco d azzardo Aveva guadagnato molto con la seguente scommessa: lanciando 4 dadi esce almeno un sei La probabilità di vincere è 1 (1 1/6) 4 = Puntando 1 euro si ottiene 0 con prob e 2 con prob valore atteso (guadagno atteso 3.54%) Poi ebbe la pessima idea di cambiare scommessa: lanciando 24 coppie di dadi esce almeno una coppia di sei Tuttavia, sbagliò i calcoli: la probabilità di vincere è inferiore a 0.5 (per la precisione è 1 (1 35/36) 24 =0.4914) per cui iniziò a perdere parecchio e chiese aiuto al matematico Pascal, che diede un contributo fondamentale alla teoria della probabilità Leonardo Grilli (DiSIA) 37

38 A chi è incuriosito dalla probabilità e vuole capire il suo ruolo nella vita quotidiana, suggerisco questi eccellenti libri divulgativi Siti web utili per la divulgazione (soprattutto per le applet e animazioni): Laboratorio virtuale di probabilità e statistica: Understanding uncertainty: 38