Laboratorio di Statistica e Analisi dei Dati

Transcript

1 Laboratorio di Statistica e Analisi dei Dati Nicolò Campolongo Università degli Studi di Milano nicolo.campolongo@unimi.it January 12, 2019 Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

2 Programma Pagina del corso: 1 Introduzione, script in Python, Arrays, Series 2 DataFrame 3 Grafici 4 Variabili aleatorie 5 Esercizi di riepilogo 6 Calcolo di probabilità Calcolo di probabilità Risoluzione di un tema d esame 9 Simulazione di un tema d esame Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

3 Introduzione: Python Python è un linguaggio di programmazione dinamico orientato agli oggetti utilizzabile per molti tipi di sviluppo software. ( Figure: Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

4 Introduzione: installare Python Mac OS X 10.2 e successivi includono una versione pre-installata. Nei sistemi Linux spesso è già presente nel setup di base. Per verificare se Python è già installato è sufficiente aprire una finestra del terminale e digitare il comando python. Installazione (raccomandata) Nota: la versione che verrà utilizzata nel corso è la 3.x Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

5 Interprete interattivo - 1 Il comando python apre l interprete interattivo. L interprete valuta le istruzioni Python inserite a riga di comando e fornisce una risposta: dottorando@dottorando-lenovo-y50-70: $ python Python Anaconda, Inc. (default, Apr , 16:14:56) GCC 7.2.0on linux Type "help", "copyright", "credits" or "license" for more information. >>> >>> print("hello, world!") Hello, world! >>> Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

6 Interprete interattivo - 2 La funzione exit() è digitata per uscire dall ambiente interprete (o in alternativa ctrl + d / cmd + d): >>> print("hello, world!") Hello, world! >>> dottorando@dottorando-lenovo-y50-70: $ Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

7 Script Usare l interprete interattivo non è la maniera più comoda per programmare. É possibile lanciare un programma python (file.py), eseguendo il comando python <nomefile.py> dalla cartella in cui si trova il file.py: dottorando@dottorando-lenovo-y50-70: /Scrivania$ python test.py My first script in Python! dottorando@dottorando-lenovo-y50-70: /Scrivania$ Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

8 Variabili in Python - 1 Python è dinamicamente tipato e fortemente tipato. Una variabile inizia ad esistere nel momento in cui le viene assegnato un valore, che ne determina il tipo: >>> a=10000 >>> type(a) <type int > >>> len(a) Traceback (most recent call last): File "<stdin>", line 1, in <module> TypeError: object of type int has no len() >>> Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

9 Variabili in Python - 2 Riferirsi ad una variabile inesistente (a cui non è ancora stato assegnato un valore) genera un errore: >>> b Traceback (most recent call last): File "<stdin>", line 1, in <module> NameError: name b is not defined >>> Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

10 Funzione Help Per aprire la documentazione a riguardo di un particolare oggetto, metodo o attributo si può invocare la funzione help( nome ) con il nome dell oggetto che stiamo cercando: >>> help(str) Help on class str in module builtin : class str(basestring) str(object= ) -> string Return a nice string representation of the object. If the argument is a string, the return value is the same object. Si esce dal manuale interattivo premendo q. Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

11 Tipi Predefiniti in Python Stringhe (str): questa è una stringa, questa pure Dizionari (dict): { chiave : valore} Tuple (tuple): (1, 2, 3, 1, ciao ) Liste (list): [1, 2, 3, 4, pippo ] Set (set): (1, 2, 3) Interi (int): 1, 2, 3 Float (float): 1.5, 3.14, Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

12 Numpy Il modulo numpy ( mette a disposizione una struttura dati creata appositamente per il calcolo scientifico. Array Un array è un contenitore di dati omogenei, cioè dello stesso tipo. Se si tenta di costruire un array con dati di tipo diverso, questi vengono trasformati nel più piccolo tipo adatto a contenerli tutti: >>> import numpy as np >>> np.array( [1,4,6.8,10] ) array([ 1., 4., 6.8, 10. ]) Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

13 Creazione di Array - 1 numpy.arange(x) restituisce un array contenente gli interi da 0 a x 1: >>> numpy.arange(5) array([0, 1, 2, 3, 4]) numpy.arange(start, stop, step) permette di scegliere gli estremi della sequenza contenuta nell array e il passo tra un numero ed il successivo: >>> numpy.arange(2,6,2) array([2, 4]) >>> numpy.arange(2,-3,-1) array([ 2, 1, 0, -1, -2]) numpy.linspace(start, stop, n) permette di scegliere gli estremi e quanti numeri devono comparire all interno della sequenza: >>> numpy.linspace(0,1,4) array)[0, , , 1]) Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

14 Creazione di Array - 2 numpy.ones( tupla ) restuituisce un array di 1, date le dimensioni specificate nella tupla come argomento. >>> numpy.ones( (1,5) ) array([1., 1., 1., 1., 1.]) numpy.zeros( tupla ) restuituisce un array di 0, date le dimensioni specificate nella tupla come argomento: >>> numpy.zeros( (2,5) ) array([[0., 0., 0., 0., 0.], [0., 0., 0., 0., 0.]]) Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

15 Operazioni con Array Applicando un operazione logica ad un array si ottiene come risposta un array di tipo booleano contenente nella posizione i-esima il risultato dell espressione logica valutata per l elemento i-esimo dell array: >>> numpy.arange(5) > 3 array([false, False, False, False, True], dtype=bool) Le operazioni +, -, *, /, % tra due array vengono eseguite elemento per elemento (gli array devono avere le stesse dimensioni): >>> numpy.arange(5) + numpy.linspace(0,2,5) array([ 0., 1.5, 3., 4.5, 6. ]) >>> numpy.arange(5) * 2 array([0, 2, 4, 6, 8]) Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

16 Selezioni di un sottoinsieme di elementi Ad un array è possibile accedere in tutti i modi con cui è possibile accedere ad una lista, ad esempio: Ottenere una tupla di elementi: >>> a[2], a[-1], a[3:6] (2, 9, array([3, 4, 5])) Slicing [start:stop:step]: >>> a[2:9:3] array([2, 5, 8]) >>> a[::2] array([0, 2, 4, 6, 8]) Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

17 Accesso con maschere booleane Specificando tra [ ] un array di tipo booleano, selezioniamo dall array gli elementi la cui posizione corrisponde ad un True nell array di tipo booleano (che prende il nome di maschera): >>> a = numpy.arange(10) >>> mask = a%2 == 0 >>> mask array([ True, False, True, False, True, False, True, False, True, False], dtype=bool) >>> a[mask] array([0, 2, 4, 6, 8]) o in maniera più compatta: >>> a[a%2 == 0] array([0, 2, 4, 6, 8]) Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

18 Esercizi 1 Lanciare uno script che stampi il vostro nome e cognome 2 Creare un array i cui elementi siano gli interi che compongono il vostro numero di matricola 3 Sia X la lunghezza dell array del punto precedente. Creare un array di X elementi equispaziati l uno dall altro di Creare un array di X elementi equispaziati nell intervallo tra 1 e 3 5 Ottenere gli array dati dalla somma tra l array del punto 2 e quello del punto 3, e quello dato dalla moltiplicazione tra punto 3 e punto 4 6 Ottenere per ciascuno dei due array del punto 5, un array maschera che in corrispondenza dei numeri divisibili per 3 abbia True, False altrimenti. Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

19 Pandas - Series (1) Pandas ( è una libreria Python che fornisce strutture dati e strumenti relativi esclusivamente all analisi dei dati. Una Series è un array monodimensionale ed etichettato. Rappresenta una serie di osservazioni di un certo carattere, fatto su un insieme di individui: a 0.0 b 1.0 c 2.0 d 3.0 e 4.0 f 5.0 g 6.0 h 7.0 Name: serie di esempio, dtype: float64 Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

20 Pandas - Series (2) pandas.series (data, index, dtype, name,... ) data: contiene i dati che si vuole inserire nella serie index: della stessa lunghezza di data, contiene le etichette dtype: permette di specificare il tipo che i dati devono assumere name: permette di dare un nome alla Series >>> import pandas as pd >>> import numpy as np >>> oss = np.arange(8) >>> etic = [ a, b, c, d, e, f, g, h ] >>> pd.series(data=oss, index=etic, name= serie di esempio, dtype=float) Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

21 Accesso ai dati di una Series Specificando un valore (o una lista di valori) per l etichetta: >>> s.loc[[ h, a ]] h 7.0 a 0.0 Specificando un valore (o una lista di valori) per la posizione: >>> s[[5,6]] f 5.0 g 6.0 Usando lo slicing (come per gli array numpy) per la posizione: >>> s[3:6] d 3.0 e 4.0 f 5.0 Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

22 Pandas Series - Utils Series.min(), Series.max() restituiscono rispettivamente il minimo ed massimo tra i valori della Series Series.sum() restituisce la somma dei valori della Series Series.sort values() restituisce una copia della Series ordinata per valore Series.sort index() restituisce una copia della Series ordinata per etichette Series.sample(n) restituisce una Series di n elementi scelti uniformemente a caso all interno di quelli della Series Series.append([s1,s2,...]) concatena una o più Series a quella di partenza Series.count() restituisce il numero dei valori della Series che non siano il valore NaN Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

23 Il valore NaN Nan un oggetto del modulo numpy, che può rappresentare, in una Series, un dato di cui non è stato possibile fare un osservazione. Operazioni con un valore Nan hanno come risultato il valore Nan. >>> oss = range(5) >>> oss.append(none) >>> pandas.series(oss) NaN Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

24 Esercizi Creare la Series gol in modo che le etichette siano numeri dall 1 al 23. I dati raccolti siano numeri interi tra 0 e 30 scelti casualmente (scarica il notebook). La Series rappresenta i gol segnati da ciascun giocatore di una società calcistica nella stagione appena passata. L etichetta corrisponde al numero di maglia del giocatore. Ottenere: 1 I gol segnati dal capocannoniere 2 Chi non ha mai fatto gol durante l anno 3 La statistica del punto 2 per i soli titolari (numeri dall 1 all 11), e per le sole riserve (dal 12 al 23) 4 La statistica del punto 2 per i soli attaccanti (numeri dal 9 all 11) 5 I gol segnati dai giocatori coi numeri di maglia 5, 9, 10, 14 (somma) 6 Chi ha segnato più di 10 gol e chi ha segnato esattamente 10 gol 7 Una copia della Series ordinata secondo i gol effettuati 8 Una stampa dei primi 5 cannonieri e degli ultimi 5 9 Una copia della Series ordinata in modo discendente secondo il numero di maglia Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

25 File.csv Il formato csv (comma-separated value) è un formato utilizzato per rappresentare una tabella di dati e favorirne l importazione e l esportazione. Un file.csv è scritto nella seguente forma: titolo,paese,anno,durata,genere,voto Guerre Stellari,USA,1977,121,Fantascienza,4 L impero colpisce ancora,usa,1980,124,fantascienza,4 Il ritorno dello Jedi,USA,1983,,Fantascienza,3.5 Profondo Rosso,ITA,1975,,Horror,3.5 Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

26 Leggere csv La funzione read csv(..) di Pandas può essere utilizzata per leggere un file di formato csv. Tra i vari parametri che passiamo in input, uno particolarmente importante è sep, che indica il carattere utilizzato per separare le colonne (default è, ): >>> df film = pd.read csv( film.csv ) >>> df film titolo paese anno durata genere voto Il padrino USA Drammatico 4.5 Pulp Fiction USA Drammatico 4.0 Fight Club USA Thriller Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

27 DataFrame In Pandas, un DataFrame è una struttura dati tabulare con assi etichettati, le cui colonne possono contenere dati eterogenei da colonna a colonna: >>> dataframe esempio Nome Cognome Eta Citta Tommaso Rossi 30.0 Milano Sergio Bianchi 34.0 Roma Pasquale Verdi 29.0 Palermo Antonio Gialli 30.0 Roma Il DataFrame può essere visto come un insieme di serie aventi lo stesso indice accostate una all altra. Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

28 Accesso colonne DataFrame - 1 Per conoscere le colonne di un DataFrame, possiamo invocare il comando df.columns, dove df è la variabile in cui abbiamo instanziato il DataFrame. Per accedere ad una colonna, dobbiamo specificarne il nome nel seguente modo: >>> df film[ genere ] titolo Il padrino Drammatico Pulp Fiction Drammatico Fight Club Thriller... Selezionando un unica colonna, in output viene restituita una Series. Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

29 Accesso colonne DataFrame - 2 Possiamo accedere allo stesso tempo a più colonne: >>> df film[[ paese, anno ]] titolo paese anno Il padrino USA Pulp Fiction USA Fight Club USA Selezionando più colonne, in output viene restituito un DataFrame. Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

30 Accesso righe DataFrame - 1 Per indice numerico: >>> df film[15:18] titolo paese anno durata genere voto Il padrino USA Drammatico 4.5 Pulp Fiction USA Drammatico 4.0 Fight Club USA Thriller 4.0 Quasi Amici FRA Commedia 3.5 Per valore dell indice (assumiamo che titolo sia l indice del DataFrame): >>> df film[ Il padrino : Fight Club ] titolo paese anno durata genere voto Il padrino USA Drammatico 4.5 Pulp Fiction USA Drammatico 4.0 Fight Club USA Thriller 4.0 Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

31 loc & iloc Così come per le Series, anche con i DataFrame possiamo usare loc ed iloc per l accesso ai dati: loc[ nome indice ] permette l accesso ad una riga o più righe, tramite nome dell indice. iloc[ posizione ] permette l accesso ad una o più righe, tramite la loro posizione. Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

32 Accesso tramite un espressione logica >>> df film[ anno > 1998] titolo Il padrino False Pulp Fiction False Fight Club True Quasi Amici True >>> df film[df film[ anno ] > 1998] titolo paese anno durata genere voto Fight Club USA Thriller 4.0 Quasi Amici FRA Commedia 3.5 Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

33 Metodi dei DataFrame La classe DataFrame ha diversi metodi. Elenchiamo qui i più importanti: DataFrame.append(..): permette di estendere il DataFrame DataFrame.drop duplicates(..): restituisce un DataFrame senza righe duplicate DataFrame.dropna(..): Eliminare i valori Nan da un DataFrame DataFrame.sort values(..): permette di ordinare il DataFrame DataFrame.max(..), DataFrame.min(..), DataFrame.mean(..), DataFrame.median(..) Per la completa documentazione, si può utilizzare il comando help(pd.dataframe) oppure andare al seguente link: pandas.dataframe.html Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

34 Frequenze La frequenza assoluta indica il numero di volte che una data osservazione occorre in un campione. La frequenza relativa è un valore tra 0 e 1 che permette di valutare in maniera più efficace la frequenza di un osservazione. Si calcola dividendo la frequenza assoluta per il numero totale di casi. Per calcolare questa quantità in Pandas possiamo utilizzare la funzione value counts() che opera su una Series. In alternativa, si può utilizzare la funzione pd.crosstab che calcola queste frequenze in automatico restituendole in output in un DataFrame. Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

35 Esercizi Utilizzando il file dati-ospedali.csv dai csv del laboratorio: 1 Leggere il file e visualizzarlo in un DataFrame. 2 Calcolare le frequenze assolute e relative dell attributo Regione usando crosstab. 3 Ottenere la singola serie relativa all attributo Regione e calcolarne la frequenza assoluta e relativa senza usare crosstab. 4 Estrarre un sottodataframe contenente le colonne Nome (attributo Denominazione Str. Pubblica New) e Numero di medici (attributo Medici SSN) degli ospedali aventi meno di 200 medici. 5 Visualizzare il nome degli ospedali della regione Lombardia 6 Calcolare il numero medio di ingegneri (Ingegneri SSN) presenti negli ospedali campani. Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

36 Esercizi 7 Calcolare la varianza del numero di assistenti sociali (Assistenti sociali SSN) negli ospedali con più di 400 medici. 8 Qual è l ospedale con meno medici? 9 Visualizzare in ordine alfabetico il nome dei primi 10 ospedali per numero di medici. 10 Visualizzare il numero degli ospedali che hanno dichiarato il numero di odontoiatri (per cui il valore è diverso da NaN) (Odontoiatri Universitari). 11 Visualizzare il numero degli ospedali che hanno dichiarato il numero di odontoiatri (Odontoiatri Universitari) e per cui questo numero è maggiore di Calcolare le frequenze assolute per l attributo Odontoiatri SSN. Trasformare questo risultato in frequenze relative. Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

37 Matplotlib Matplotlib è una libreria Python per la generazione di grafici 2D. La collezione di funzioni pyplot permette di generare istogrammi, grafici a barre, grafici a torta, ecc. in modo da poter visualizzare i dati a nostra disposizione. import matplotlib.pyplot as plt plt.plot(...) plt.show() plot è la più semplice funzione per creare un grafico. Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

38 Plot Vediamo un semplice esempio: >>> import matplotlib.pyplot as plt >>> import numpy as np >>> x=np.arange(10) >>> y=x*x >>> plt.plot(x,y) >>> plt.show() Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

39 Grafico di dispersione >>> x = np.random.rand(n) >>> y = np.random.rand(n) >>> colors = np.random.rand(n) >>> area = (30 * np.random.rand(n))**2 >>> plt.scatter(x, y, s=area, c=colors, alpha=0.5) >>> plt.show() Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

40 Grafici a barre - 1 La funzione bar ci permette di tracciare grafici a barre: >>> import pandas as pd >>> a = pd.series([181, 172, 198]) >>> a.index = [ Alessio, Ciccio, Giorgio ] >>> plt.bar(a.index, a.get values()) >>> plt.show() Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

41 Grafici a barre - 2 Possiamo invocare la funzione plot.bar() direttamente su una serie: >>> df ospedali = pd.read csv( dati-ospedali.csv, sep= ; ) >>> freq regione = df ospedali[ Regione ].value counts() >>> freq regione.plot.bar() >>> plt.xticks(rotation=25) >>> plt.show() Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

42 Istogrammi La funzione hist ci permette di tracciare istogrammi: >>> heroes = pd.read csv( heroes.csv, sep= ; ) >>> height = heroes[ Height ] >>> height.plot.hist() >>> plt.show() Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

43 Grafici con le Series In generale, possiamo tracciare diversi tipi di grafici con le Series: line : line plot (default) bar : vertical bar plot barh : horizontal bar plot hist : histogram box : boxplot kde : Kernel Density Estimation plot density : same as kde area : area plot pie : pie plot Per saperne di più, consultare questo link.. Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

44 Distribuzione cumulativa empirica - 1 Per visualizzare la distribuzione cumulativa empirica, possiamo utilizzare il seguente metodo: >>> x = height.sort values() >>> y = np.arange(len(x)) / float(len(x)) >>> plt.plot(x, y) >>> plt.show() Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

45 Distribuzione cumulativa empirica - 2 O in alternativa, utilizzare la funzione ECDF del modulo statsmodels: >>> from statsmodels.distributions.empirical distribution import ECDF >>> dist = ECDF(height) >>> plt.plot(dist.x, dist.y) >>> plt.show() Che produce in output il grafico della pagina precedente (provare per credere!) Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

46 Boxplot Rappresenta la distribuzione di un vettore di numeri, cerchiando gli outlier: >>> weight = heroes[ Weight ] >>> weight.plot.box() >>> plt.show() Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

47 QQplot Grafico di dispersione dei quantili di due distribuzioni. Più le distribuzioni sono simili, più si avvicina alla bisettrice del primo quadrante: >>> import statsmodels.api as sm >>> sm.qqplot 2samples(height, weight, line= 45 ) >>> plt.show() Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

48 Diagramma di Pareto - 1 Inserisce nello stesso grafico un diagramma a barre delle frequenze relative ordinate in maniera decrescente ed un grafico a linea spezzata delle frequenze cumulate. Esiste un package Python per tracciare Diagrammi di Pareto al seguente link. >>> from paretochart import pareto >>> eye color freq = heroes[ Eye color ].value counts() / len(heroes) >>> common colors = eye color freq[eye color freq >.02].index >>> common colors data = heroes[ Eye color ][heroes[ Eye color ].isin(common colors)] Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

49 Diagramma di Pareto - 2 >>> common colors freq = common colors data.value counts()/len(common colors data) >>> pareto(common colors freq,labels=common colors freq.index) >>> plt.show() Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

50 Esercizi - 1 Utilizzando il file capelli.csv dai csv del laboratorio: 1 Calcolare coefficiente di correlazione (di Pearson) tra lunghezza capelli e le altre misure (usando la funzione Pandas corr). 2 Visualizzare i relativi grafici di dispersione. Confermano il valore numerico? 3 Visualizzare il boxplot e l istogramma della colonna spesashampomensile. Cosa li accomuna? Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

51 Esercizi - 2 Utilizzando il file dati-ospedali.csv dai csv del laboratorio: 1 Visualizzate la distribuzione cumulativa empirica e un barplot dell attributo Medici SSN 2 Controllare se Medici SSN e Farmacisti SSN seguono la stessa distribuzione (usando qqplot) 3 Visualizzare il diagramma di Pareto della serie contenente i dati che rappresentano i Medici SSN per Regione Completare l analisi esplorativa in finanziamenti.pdf e cani.pdf Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

52 Sample space Un esperimento è qualsiasi processo che produce una realizzazione (o osservazione). L insieme di tutte le possibili realizzazioni di un esperimento viene detto sample space ed indicato con S. lancio di 2 monete gara di 3 cavalli (a, b, c) S = {(T, T ), (T, C), (C, T ), (C, C)} S = {tutti i possibili ordinamenti di(a, b, c)} = {(a, b, c), (a, c, b),..., (c, b, a)} Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

53 Eventi lancio di 2 monete S = {(T, T ), (T, C), (C, T ), (C, C)} A = 2 monete uguali A = {(T, T ), (C, C)} B = 2 monete diverse B = A c = {(T, C), (C, T )} gara di 3 cavalli A = cavallo a vincente A = {(a, b, c), (a, c, b)} Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

54 Probabilità - 1 Consideriamo un esperimento con sample space S. Supponiamo che ad ogni evento A sia associato un numero chiamato probabilità di A ed indicato con P(A), che soddisfa le seguenti proprietà: 1 Per ogni evento A, la probabilità di A è un numero tra 0 e 1: 0 P(A) 1 2 La probabilità del sample space S è 1: P(S) = 1 3 La probabilità dell unione di eventi disgiunti è uguale alla somma delle probabilità di tali eventi: P(A B) = P(A) + P(B) Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

55 Probabilità - 2 In generale 2 eventi potrebbero non essere disgiunti. P(A B) = P(A) + P(B) P(A B) Esempio: un certo negozio accetta pagamenti o con carte di credito VISA o Mastercard. 1 22% dei clienti ha Mastercard 2 58% dei clienti ha VISA 3 14% dei clienti ha entrambe Qual è la probabilità che un cliente ha almeno una delle 2 carte? P(A) = 0.22, P(B) = 0.58 P(A B) = P(A) + P(B) P(A B) = = 0.66 Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

56 Probabilità condizionata - 1 Se alcune informazioni riguardo l esito di un esperimento sono disponibili, parliamo di probabilità condizionata. Esempio: lancio di 2 dadi S = {(1, 1), (1, 2),..., (6, 5), (6, 6)} Probabilità che la somma sia 10 (evento B) sapendo che il primo dado mostra 4 (evento A)? (4, 1), (4, 2), (4, 3), (4, 4), (4, 5), (4, 6) P(B A) = 1/6 Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

57 Probabilità condizionata - 2 In generale, P(B A) = Supponiamo l esito sia in A P(A B) P(A) Per essere anche in B, deve essere in entrambi A e B, cioè in A B Sapendo che A è già accaduto, il nostro nuovo sample space diventa A la probabilità di A B viene calcolata rispetto ad A Nel caso dei dadi: P(B A) = P({(4, 6)}) P({(4, 1), (4, 2), (4, 3), (4, 4), (4, 5), (4, 6)}) = 1/36 1/6 = 1 6 Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

58 Indipendenza In generale, sapere che A è accaduto modifica le chance che B accada. Nel caso ciò non avvenga, cioè se P(B A) = P(B), allora i 2 eventi si dicono indipendenti. In questo caso, sapere che A è accaduto non aggiunge alcuna informazione. Siccome P(A B) = P(B A)P(A) Abbiamo che B è indipendente da A se P(A B) = P(B)P(A) Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

59 Esercizi Svolgere gli esercizi di combinatoria 2 Si consideri il seguente esperimento casuale: si lancia tre volte una moneta. Qual è lo spazio degli esiti di questo esperimento casuale? Si scriva esplicitamente l evento si ottengono più teste che croci 3 Si consideri il seguente esperimento casuale: Si tirano due dadi. Si considerino gli eventi E = la somma dei punteggi è dispari, F = il primo dado realizza un 1 e G = la somma dei punteggi è 5. Si descrivano gli eventi E F, E F, F G, E F c e E F G Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

60 Esercizi Si consideri il seguente esperimento casuale: Un sistema è composto da 4 componenti, ciascuno dei quali o funziona oppure è guasto. Si osserva lo stato dei componenti ottenendo un vettore (x 1, x 2, x 3, x 4 ), dove x i è 1 oppure 0 a seconda che il componente i-esimo funzioni oppure no. 1 Da quanti elementi è formato lo spazio degli esiti? 2 Il sistema nel suo insieme funziona fintantoché entrambi i componenti 1 e 2 oppure entrambi i componenti 3 e 4 funzionano. Specifica tutti gli esiti dell evento il sistema funziona. 3 Sia E l evento i componenti 1 e 3 sono guasti. Quanti esiti contiene? Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

61 Esercizi Si dimostri che in uno spazio degli esiti Ω dotato di una probabilità P, per ogni evento E, F Ω vale la disuguaglianza seguente: P(E F ) P(E) + P(F ) 1 6 Un gruppo di 5 bambini e 10 bambine è in fila in ordine casuale, nel senso che tutte le 15! possibili permutazioni si suppongono equiprobabili. 1 Qual è la probabilità che il quarto della fila sia un bambino? 2 E il dodicesimo? 3 Qual è la probabilità che un determinato bambino occupi la terza posizione? Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

62 Esercizi In un comune vi sono 5 alberghi. Se 3 persone devono scegliere un albergo in cui pernottare, qual è la probabilità che finiscano tutte in alberghi differenti? Che cosa stiamo assumendo senza dirlo esplicitamente? 8 La media del salario annuale di un gruppo di 100 lavoratori impiegati nell amministrazione di una grande azienda è di dollari con una deviazione standard di dollari. Se si prende una persona a caso da questo gruppo cosa possiamo dire sulla probabilità che il suo salario sia 1 tra i e i dollari. 2 superiore a dollari? Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

63 Esercizi In una certa regione vi sono due ditte che producono forni a microonde. Quelli della fabbrica A sono difettosi con probabilità 0.05, mentre quelli della fabbrica B, con probabilità Supponi di aver acquistato due apparecchi prodotti dalla stessa ditta, che può essere la A o la B con probabilità del 50%. Se il primo microonde è difettoso, qual è la probabilità condizionata che sia difettoso anche il secondo? 10 Hai chiesto ad un vicino di innaffiare una piantina delicata mentre sei in vacanza. Pensi che senza acqua la piantina muoia con probabilità 0.8, mentre se innaffiata questa probabilità si ridurrebbe a La tua fiducia che il vicino si ricordi di innaffiarla è del 90%. 1 Qual è la probabilità che la pianta sia ancora viva al tuo ritorno? 2 Se fosse morta, quale sarebbe la probabilità che il vicino si sia dimenticato di innaffiarla? Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

64 Esercizi Una compagnia di assicurazioni classifica i suoi clienti in tre fasce: basso rischio, medio rischio, alto rischio. Le sue statistiche indicano che le probabilità che un cliente delle tre fasce abbia un incidente entro un periodo di un anno sono rispettivamente 0.05, 0.15, e Se il 20% dei clienti sono a basso rischio, il 50% a medio rischio e il 30% ad alto rischio, che percentuale dei clienti avrà mediamente incidenti in un lasso di un anno? Se un cliente non ha avuto incidenti nel 1987, qual è la probabilità che appartenga a ciascuna delle tre fasce? 12 Se un votante scelto a caso è favorevole ad una certa riforma con probabilità di 0.7, qual è la probabilità che su 10 votanti, esattamente 7 siano favorevoli? Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

65 Variabili aleatorie Una variabile aleatoria (o anche variabile aleatoria) è una variabile che può assumere valori diversi in dipendenza da qualche fenomeno aleatorio. fenomeno: lancio di 2 dadi variabile aleatoria: somma dei 2 dadi fenomeno: 3 lanci di una moneta variabile aleatoria: numero di teste complessivo Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

66 Funzione di Ripartizione Sia X una variabile aleatoria. Si chiama funzione di ripartizione di X la funzione F che associa ad ogni numero reale a la probabilità che X sia minore o uguale ad a, cioè P(X a) = F X (a) Nel caso della moneta (fair) lanciata 3 volte (X indica il numero di teste complessivo): 0, if a < 0 1/8, per 0 a < 1 F X (a) = 1/8 + 3/8 = 4/8, per 1 a < 2 4/8 + 3/8 = 7/8, per 2 a < 3 8/8 = 1, per a 3 Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

67 Funzione di densità o di massa Sia X una variabile aleatoria. Si chiama funzione di densità di X la funzione f che associa ad ogni numero reale a la probabilità che X sia uguale ad a, indicata con f X (a). Nel caso della moneta (fair) lanciata 3 volte (X indica il numero di teste complessivo): 1/8, per a = 0 3/8, per a = 1 f X (a) = 3/8, per a = 2 1/8, per a = 3 0 altrimenti Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

68 Valore Atteso Chiamato anche media (expectation in inglese), è appunto una media pesata dei possibili valori di una variabile aleatoria. Il peso dato a ciascun valore è la probabilità data a quello specifico valore. Esempio: dado truccato valore 6 con probabilità 7/12 E[X ] = a i P(X = a i ) i valori da 1 a 5 con probabilità 1/12 La variabile aleatoria X indica la faccia risultante dal lancio di un dado. E[X ] = = 4.75 Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

69 Valore Atteso - Proprietà Sia X una variabile aleatoria con valore atteso E[X ]. Se c è una costante, allora anche cx e X + c sono variabili casuali. In particolare, valgono le seguenti proprietà: E[cX ] = ce[x ] E[X + c] = E[X ] + c Sia Y una variabile aleatoria. Allora: E[X + Y ] = E[X ] + E[Y ] se e solo se X e Y sono independenti: E[XY ] = E[X ]E[Y ] Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

70 Varianza E il valore atteso del quadrato della differenza tra la variabile aleatoria e il suo valore atteso: Var(X ) = E[(X E[X ]) 2 ] = E[X 2 ] (E[X ]) 2 La radice quadrata viene detta deviazione standard di X. Esempio: dado truccato E[X 2 ] = Var(X ) = E[X 2 ] (E[X ]) Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

71 Varianza - proprietà Sia X una variabile aleatoria e c una costante. Allora valgono le seguenti proprietà: 1 Var(cX ) = c 2 Var(X ) 2 Var(X + c) = Var(X ) NOTA: Var(X + X ) Var(X ) + Var(X ) Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

72 Covarianza Siano X, Y due variabili aleatorie, con valore atteso rispettivamente E[X ] = µ X e E[Y ] = µ Y. La covarianza è definita come segue: Cov(X, Y ) = E[(X µ X )(Y µ Y )] =... = E[XY ] µ X µ Y Proprietà: 1 Cov(X, Y ) = Cov(Y, X ) 2 Cov(X, X ) = Var(X ) 3 Sia a una costante, allora: Cov(aX, Y ) = acov(x, Y ) 4 Sia Z una variabile aleatoria, allora: Cov(X + Z, Y ) = Cov(X, Y ) + Cov(Z, Y ) Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

73 Esercizi Consideriamo una variabile aleatoria X che può assumere i valori 1, 2 o 3. Se sappiamo che f X (1) = 1 3, f X (2) = Quanto vale f X (3)? 2 Disegnare il grafico di questa funzione di massa. 3 Disegnare il grafico della relativa funzione di ripartizione. 2 Dimostrare che se X 1 e X 2 hanno la stessa distribuzione, allora: Cov(X 1 + X 2, X 1 X 2 ) = 0 Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

74 Esercizi La funzione di ripartizione di X è definita come segue Se ne tracci il grafico. Quanto vale P(X > 1/2)? Quanto vale P(2 X 4)? Quanto vale P(X 3)? Quanto vale P(X = 1)? 0, per x 0 x/2, per 0 x < 1 F X (x) = 2/3, per 1 x < 2 11/12, per 2 x < 3 1 per x 3 Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

75 Esercizi Un tipo di prodotti vengono classificati a seconda dei loro difetti e della fabbrica che li ha prodotti. Sia X 1 il numero (1 o 2) della fabbrica, e sia X 2 il numero di difetti per pezzo (che possono essere da 0 a 3), di un prodotto scelto a caso tra la totalità di quelli esistenti. La tabella seguente riporta la funzione di massa di probabilità congiunta per queste due variabili aleatorie discrete. Le righe si riferiscono alla variabile X 1, mentre le colonne alla variabile X 2. Trova le distribuzioni marginali di X 1 e X 2. Calcola media e varianza di X /8 1/16 3/16 1/8 2 1/16 1/16 1/8 1/4 Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

76 Scipy Scipy è un modulo che permette di utilizzare varie distribuzioni di probabilità, sia di tipo discreto che continuo. La sintassi generale è la seguente: Scipy.stats.<nome distribuzione>.rvs(size=z): restituisce un vettore di numeri casuali estratti secondo la distribuzione, di lunghezza z.pdf(x): restituisce il vettore della densità della distribuzione valutata nei valori del vettore di input x (.pmf per le discrete).cdf(x): restituisce il vettore della funzione di ripartizione (o cumulativa) della distribuzione valutata nei valori del vettore di input x.ppf(q): restituisce il vettore dei quantili della distribuzione valutata nei valori del vettore di input q Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

77 Variabili aleatorie discrete: Binomiale >>> from scipy.stats import binom >>> rv = binom(n, p) rv.rvs(x) restituisce un vettore di x numeri estratti secondo una distribuzione Binomiale di parametri n, p rv.pmf(x) restituisce la probabilità di ottenere esattamente x successi in un esperimento dicotomico (0/1) ripetuto n volte con una probabilità di successo p (x può essere un vettore) rv.cdf(q) restituisce il valore della funzione di ripartizione in q (q può essere un vettore) rv.ppf(p) restituisce il valore del quantile di ordine p Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

78 Variabili aleatorie discrete: Ipergeometrica Supponiamo di avere M = 20 animali, di cui n = 7 cani. Se vogliamo sapere la probabilità di trovare un dato numero di cani se scegliamo N = 12 dei 20 animali in maniera casuale, possiamo usare una distribuzione ipergeometrica in questo modo: >>> from scipy.stats import hypergeom >>> [M, n, N] = [20, 7, 12] >>> rv = hypergeom(m, n, N) rv.pmf(x) restituisce la probabilità di estrarre esattamente x cani. Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

79 Variabili aleatorie discrete: Geometrica >>> from scipy.stats import geom >>> rv = geom(p) rv.pmf(x) restituisce la probabilità di avere un successo dopo esattamente x insuccessi in una successione di esperimenti dicotomici (esito 0/1) con una probabilità di successo p (x può essere un vettore) Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

80 Variabili aleatorie discrete: Poisson La distribuzione di Poisson viene usata spesso come modello per il numero di volte per cui un evento avviene in un dato intervallo di tempo (o spazio). Ad esempio, si può utilizzare per misurare il numero di chiamate ricevute da un call center in una mattinata. >>> from scipy.stats import poisson >>> mu = 2 >>> rv = poisson(mu) rv.pmf(x) restituisce il seguente valore: f (x) = exp( µ) µx x! In questo caso x rappresenta il numero di eventi per cui si vuole calcolare la probabilità, sapendo che in media ne accadono µ. Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

81 Variabili aleatorie continue: Uniforme In Scipy la funzione uniforme è soltanto continua. Questo significa che nella generazione di numeri casuali otterrò dati di tipo float. Possiamo tuttavia simulare una variabile discreta estraendo la parte intera del risultato ottenuto. >>> from scipy.stats import uniform >>> rv = uniform() Il comando uniform() crea una distribuzione uniforme nell intervallo [0, 1]. Possiamo creare una distribuzione uniforme qualsiasi usando uniform(x, y - x) per l intervallo [x, y] Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

82 Variabili aleatorie continue norm(mu, sigma): variabile Gaussiana (o Normale) di media µ e deviazione standard σ expon(scale = 1 / lambda): variabile Esponenziale di parametro λ Altre distribuzioni (con relativa documentazione) disponibili su: Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

83 Esercizi Un urna contiene 10 palline di cui 4 bianche e 6 nere. Si eseguono 5 estrazioni con reimmissione. 1 Tracciare grafico della funzione massa di probabilità della variabile casuale X = numero di palline bianche estratte 2 Calcolare la probabilità di estrarre 2 palline bianche 3 Calcolare la probabilità di estrarre al più 2 palline bianche 4 Calcolare la probabilità di estrarre almeno 2 palline bianche 5 Qual è il numero minimo x tale che la probabilità di estrarre al più x palline bianche sia almeno 0.8? Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

84 Esercizi Si eseguono 10 estrazioni senza reimmissione da un urna 1 Tracciare il grafico della funzione massa di probabilità della variabile casuale X = numero di palline bianche estratte nei seguenti casi: 1 l urna contiene 100 palline di cui 20 bianche e le restanti nere 2 l urna contiene 100 palline di cui 2 bianche e le restanti nere 2 Tracciare il grafico della funzione massa di probabilità della variabile casuale X nel caso dell urna 1 se si eseguono 25 estrazioni 3 Consideriamo l urna 1 e N = 10 estrazioni. Si aumenti il numero totale M di palline nell urna mantenendo uguale a 0.2 la frazione di palline bianche. Per ciascun valore di M confrontare graficamente la distribuzione di probabilità del numero di palline bianche estratte nel caso di estrazioni con e senza reimmissione. Provare con 20, 40 e 200 palline bianche Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

85 Esercizi Calcolare la probabilità di ottenere più teste che croci lanciando 7 volte una moneta truccata con probabilità di avere croce pari a Calcolare la probabilità di avere almeno 3 sei lanciando 5 dadi a 12 facce 5 Calcolare la probabilità di estrarre 20 euro da un sacco contenente 47 monete da 1 centesimo e 53 da 2 euro estraendo (uniformemente) a caso 10 monete senza reinserirle 6 Un grammo di uranio emette mediamente 2152 particelle α ogni millisecondo. Qual è con buona approssimazione la probabilità che un grammo di uranio emetta al più 2000 particelle α in un millisecondo? Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

86 Esercizi Un uomo si risveglia in mezzo al deserto senza acqua. Dopo ogni minuto ha una probabilità del 3% di perdere conoscenza per via delle condizioni estreme. Calcolare la probabilità che l uomo perda conoscenza dopo almeno due ore e la probabilità che l uomo perda conoscenza dopo esattamente un quarto d ora 8 Sia X una variabile aleatoria normale di parametri µ = 10 e σ = 36. Calcola: 1 P(X > 5) 2 P(4 X 16) 3 P(X 8) Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

87 Esercizi Il numero di errori tipografici per pagina di una certa rivista segue una distribuzione di Poisson. Sapendo che mediamente sono presenti 0.2 errori per pagina, determinare la probabilità che una pagina contenga: 1 nessun refuso 2 più refusi 10 Arrivi alla fermata dell autobus alle 10:00 e sei certo che ne passerà uno in un momento distribuito uniformemente tra le 10:00 e le 10:30 1 Qual è la probabilità che tu debba aspettare più di 10 minuti? 2 Se alle 10:15 l autobus non è ancora arrivato, qual è la probabilità che tu debba aspettare almeno altri 10 minuti? Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88

88 Esercizi Il signor Jones è convinto che il tempo di vita di una automobile (in migliaia di chilometri percorse) sia una variabile aleatoria esponenziale di parametro 1/20. Il signor Smith ha una macchina usata da vendere che ha percorso circa chilometri. 1 Se il signor Jones decide di comprarla, che probabilità ha di farle fare almeno altri chilometri prima che sia da buttare? 2 Il modello assunto dal signor Jones è ragionevole? 12 Sia X una variabile casuale binomiale di parametri n = 100 e p = Tracciate la funzione di ripartizione di X 2 Calcolate il primo quartile, il quantile di ordine 0.9 e la mediana di X 3 Calcolare la probabilità P(X 60) 4 Calcolare la probabilità P(X 88) 5 Trovare il più piccolo valore x tale che P(X x) 0.9 Nicolò Campolongo (UniMi) SAD 2018/2019 January 12, / 88