Evidenza e incertezza

Transcript

1 Evidenza e incertezza Prologo alle lezioni Luca La Rocca 1 Dipartimento di Scienze Fisiche, Informatiche e Matematiche Università degli Studi di Modena e Reggio Emilia Insegnamento di Statistica ed Elementi di Probabilità Corso di Laurea in Informatica Anno Accademico 2014/ L. La Rocca (UNIMORE) Evidenza e incertezza SEP 2014/ / 13

2 The sexy job Hal Varian, chief economist di Google, intervistato da McKinsey & Company nell ottobre 2008: I keep saying the sexy job in the next ten years will be statisticians. People think I m joking, but who would ve guessed that computer engineers would ve been the sexy job of the 1990s?... Because now we really do have essentially free and ubiquitous data. So the complementary scarce factor is the ability to understand that data and extract value from it.... I think statisticians are part of it, but it s just a part. You also want to be able to visualize the data, communicate the data, and utilize it effectively. L. La Rocca (UNIMORE) Evidenza e incertezza SEP 2014/ / 13

3 Big data Nel 2013 IBM ( stimava che: Every day, 2.5 billion gigabytes of high-velocity data are created in a variety of forms, such as social media posts, information gathered in sensors and medical devices, videos and transaction records. La nostra capacità di memoria è circa un milionesimo di questo valore ( Robert Birge (Syracuse University) who studies the storage of data in proteins, estimated in 1996 that the memory capacity of the brain was between one and ten terabytes, with a most likely value of 3 terabytes. Siamo però abili a riconoscere (interruzioni di) regolarità nei dati... L. La Rocca (UNIMORE) Evidenza e incertezza SEP 2014/ / 13

4 Terremoti Latitudine Longitudine L. La Rocca (UNIMORE) Evidenza e incertezza SEP 2014/ / 13

5 Una regione sicura Latitudine Longitudine L. La Rocca (UNIMORE) Evidenza e incertezza SEP 2014/ / 13

6 Cluster Dendrogram Height # hierarchical clustering X=cbind(Longitude,Latitude) Tree=hclust(dist(X)) plot(tree) Data Points hclust (*, "complete") L. La Rocca (UNIMORE) Evidenza e incertezza SEP 2014/ / 13

7 Quattro sorgenti sismiche Latitudine Longitudine L. La Rocca (UNIMORE) Evidenza e incertezza SEP 2014/ / 13

8 La tigre... Tyger! Tyger! burning bright In the forests of the night, What immortal hand or eye Could frame thy fearful symmetry? William Blake (Songs of Experience, 1794) L. La Rocca (UNIMORE) Evidenza e incertezza SEP 2014/ / 13

9 ... che non c è Latitude = 453*runif(20) Longitude = 7.54*runif(20) Chance! Some argue, plausibly, that we evolved to see a single cause even when there is none, on the basis that it is better to be safe than sorry, better to identify that pattern in the trees as a tiger, better to run far better than to assume that what we see is a chance effect of scattered light and shifting leaves in the breeze, creating an illusion of stripes. Michael Blastland & Andrew Dilnot (2008). The Tiger That Isn t (Expanded Edition). Profile Books, London. L. La Rocca (UNIMORE) Evidenza e incertezza SEP 2014/ / 13

10 Segnale e rumore Nate Silver 2 è uno statistico americano divenuto celebre nel 2008 per avere previsto correttamente 49 stati su 50 nelle elezioni presidenziali: Biologically, we are not very different from our ancestors. But some stone-age strengths have become information-age weaknesses.... Meanwhile, if the quantity of information is increasing by 2.5 quintillion bytes per day, the amount of useful information almost certainly isn t. Most of it is just noise, and the noise is increasing faster than the signal.... We must become more comfortable with probability and uncertainty. We must think more carefully about the assumptions and beliefs that we bring to a problem. 2 Nate Silver (2012). The Signal and the Noise. Penguin, London. Edizione italiana: Il Segnale e il Rumore, Fandango Libri (2013). L. La Rocca (UNIMORE) Evidenza e incertezza SEP 2014/ / 13

11 Morale Siamo geneticamente predisposti per scavare nei dati ed estrarne informazioni (un talento che ovviamente possiamo sviluppare con lo studio e la pratica) ma se vogliamo dare il giusto peso all evidenza che i dati forniscono dobbiamo riconoscerne la natura incerta e imparare a ragionare in termini probabilistici (un attività per la quale l intuizione non basta e che dunque necessita di formalizzazione). L. La Rocca (UNIMORE) Evidenza e incertezza SEP 2014/ / 13

12 Programma Un introduzione al calcolo delle probabilità e alla statistica, lungo la linea tracciata dai primi quattro capitoli e dal sesto capitolo del testo di riferimento: Paolo Baldi (1998). Calcolo delle Probabilità e Statistica (Seconda Edizione). McGraw-Hill, Milano. Percorso di lettura: tutto il Capitolo 1; prime sei sezioni del Capitolo 2, tralasciando le dimostrazioni della Sezione 2.5 (speranza matematica); prime otto sezioni del Capitolo 3; tutto il Capitolo 4, tralasciando il Teorema 4.12 (P. Lévy) e le sue applicazioni, quindi tralasciando la dimostrazione del Teorema 4.14 (limite centrale); alcune sezioni del Capitolo 6 (da 1 a 5, 8, da 14 a 16, 22). L. La Rocca (UNIMORE) Evidenza e incertezza SEP 2014/ / 13

13 Practice, practice, practice! Galleria di esempi a cura del docente, da affiancare agli esercizi del testo di riferimento, i quali sono risolti in un testo precedente: Paolo Baldi, Rita Giuliano & Lucia Ladelli (1995). Laboratorio di Statistica e Probabilità: Problemi Svolti. McGraw-Hill, Milano. Software statistico consigliato: R Core Team (2013). R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, Vienna. URL L. La Rocca (UNIMORE) Evidenza e incertezza SEP 2014/ / 13