Statistica e informatica

Transcript

1 Statistica e informatica Statistica descrittiva Francesco Pauli & Nicola Torelli a.a. 2017/2018 Francesco Pauli & Nicola Torelli Descrittiva 1 / 1

2 Indice Francesco Pauli & Nicola Torelli Descrittiva 2 / 1

3 Terminologia elementare Un dato statistico è il risultato della rilevazione (misurazione/osservazione) di un qualche carattere su un unità statistica appartenente a una popolazione. unità statistica: il caso individuale componente del collettivo statistico; carattere (o variabile): ogni aspetto elementare oggetto di rilevazione nelle unità statistiche del collettivo; modalità di un carattere: i diversi modi con cui questo si presenta nelle unità statistiche del collettivo supporto: insieme (teorico) delle modalità di un carattere. Nel seguito, i termini carattere e variabile verranno usati in modo interscambiabile. Francesco Pauli & Nicola Torelli Descrittiva 3 / 1

4 Tipi di carattere QUALITATIVI modalità costituite da espressioni verbali QUANTITATIVI modalità costituite da numeri RETTILINEI Modalità ordinabili SCONNESSI Modalità non ordinabili D I S C R E T I Modalità: quantità distinte CONTINUI Possono assumere tutti i valori di un intervallo di numeri reali Francesco Pauli & Nicola Torelli Descrittiva 4 / 1

5 Variabili qualitative Una variabile è qualitativa se le modalità che si presentano sono espresse in forma verbale; una variabile qualitativa è sconnessa se le sue modalità non implicano una graduazione (mutabile sconnessa); una variabile qualitativa è ordinale se le sue modalità implicano una graduazione; le modalità possono essere predefinite a priori; a volte, nelle indagini, le modalità vengono desunte a posteriori dalla descrizione dettagliata che il rilevatore fa dello stato della singola unità relativamente al carattere in questione. Francesco Pauli & Nicola Torelli Descrittiva 5 / 1

6 Esempio: qualitativa sconnessa Ti è piaciuta l ultima edizione del Festival di Sanremo? L ho visto e mi è piaciuto L ho visto e non mi è piaciuto Non l ho visto Francesco Pauli & Nicola Torelli Descrittiva 6 / 1

7 Esempio: qualitativa sconnessa 2 Qual è il tuo genere letterario preferito? Comico/umoristico Fantascienza Fantasy Giallo/noir/thriller Psicologico Romantico Storico Altro Francesco Pauli & Nicola Torelli Descrittiva 7 / 1

8 Esempio: qualitativa ordinale Quanto frequentemente bevi birra? Mai Raramente Qualche volta Spesso Ogni giorno Più volte al giorno Francesco Pauli & Nicola Torelli Descrittiva 8 / 1

9 Variabili quantitative Una variabile è quantitativa se le modalità che si presentano sono espresse in forma numerica; distinguiamo rispetto ai valori che possono assumere una variabile quantitativa è discreta se l insieme delle sue modalità è finito oppure numerabile (detto in altri termini, se la quantità che rappresenta varia a salti ); una variabile quantitativa è continua se l insieme delle sue modalità è un intervallo, limitato o illimitato. NB. Per la limitata precisione utilizzabile nel rilevare le misure, la distinzione tra variabile discreta e continua è convenzionale. e rispetto alle operazioni che è ragionevole fare una variabile è intervallare se ha senso fare differenze tra valori ma non c è uno zero naturale e non ha senso fare rapporti una variabile è rapportabile se ha senso fare rapporti tra valori (c è uno zero naturale) Francesco Pauli & Nicola Torelli Descrittiva 9 / 1

10 Indice Francesco Pauli & Nicola Torelli Descrittiva 10 / 1

11 Matrice dei dati Dati del questionario: variabile Stu. sesso Sanremo sonno studio 1 maschio Non l ho visto femmina L ho visto e mi è piaciuto maschio Non l ho visto femmina Non l ho visto 8 25 unità statistica femmina Non l ho visto 8 20 Francesco Pauli & Nicola Torelli Descrittiva 11 / 1

12 Esempio: effetto del fumo sul peso dei neonati (babies) Per 32 neonati si sono rilevati il peso alla nascita (in grammi), la durata della gravidanza (in settimane), la condizione rispetto al fumo della madre (S/N). Interessa valutare se esista una relazione tra il peso alla nascita dei neonati e la durata della gravidanza e se questa relazione cambi rispetto alla condizione madre fumatrice/non fumatrice. Francesco Pauli & Nicola Torelli Descrittiva 12 / 1

13 Peso Durata gravidanza Fumo S S S S S S S S S S S S S S S S N N N N N N N N N N N N N N N N Francesco Pauli & Nicola Torelli Descrittiva 13 / 1

14 Gli stessi dati... È molto spesso comodo codificare la condizione di fumatrice della madre con un numero (tipo: 1 fumatrice, 0 non fumatrice), anzichè con una lettera (S/N). Ovviamente, i codici 0 ed 1 usati per le due condizioni sono ancora da considerarsi come etichette dei due gruppi. Francesco Pauli & Nicola Torelli Descrittiva 14 / 1

15 Peso Durata gravidanza Fumo S S S S S S S S S S S S S S S S N N N N N N N N N N N N N N N N Peso Durata gravidanza Fumo Francesco Pauli & Nicola Torelli Descrittiva 15 / 1

16 Indice Francesco Pauli & Nicola Torelli Descrittiva 16 / 1

17 Distribuzione statistica disaggregata Si consideri un collettivo statistico di N unità, dove si sia osservato il carattere Y. Si chiama distribuzione statistica disaggregata secondo il carattere Y l insieme delle osservazioni (rappresentate da numeri o da espressioni verbali) relative alle N unità del collettivo. In simboli, la distribuzione disaggregata sarà indicata come y 1,y 2,...,y N dove y 1 è l osservazione relativa all unità identificata dal numero 1, y 2 l osservazione relativa all unità identificata dal numero 2 e cos via. Non consente una facile visione d insieme. Francesco Pauli & Nicola Torelli Descrittiva 17 / 1

18 Distribuzione statistica disaggregata (2) Ad esempio per il carattere Genere la distribuzione statistica disaggregata è Maschio Femmina Maschio Femmina Femmina Maschio Maschio Femmina Maschio Maschio Maschio Maschio Maschio Maschio Maschio Maschio Femmina Maschio Femmina Maschio Maschio Maschio Femmina Maschio Femmina Maschio Maschio Femmina Maschio Maschio Femmina Femmina Femmina Maschio Maschio Maschio Maschio Maschio Femmina Maschio Maschio Femmina Femmina Femmina Maschio Femmina Maschio Maschio Maschio Maschio Maschio Femmina NA Femmina Francesco Pauli & Nicola Torelli Descrittiva 18 / 1

19 Distribuzione statistica disaggregata (3) Per il carattere Altezza la distribuzione statistica disaggregata è NA 176 Francesco Pauli & Nicola Torelli Descrittiva 19 / 1

20 Distribuzione di frequenza assoluta Si consideri ancora Y. Si chiama distribuzione di frequenza assoluta la lista delle modalità osservate accompagnata dal numero di volte in cui queste vengono osservate, ossia accompagnata dalle rispettive frequenze assolute. È molto facile ottenere distribuzioni di frequenza assoluta per caratteri qualitativi e quantitativi discreti. In presenza di caratteri quantitativi continui (o anche discreti, se assumono tantissime modalità), abbiamo bisogno di qualche operazione preliminare. Francesco Pauli & Nicola Torelli Descrittiva 20 / 1

21 Esempio: distribuzione di frequenza del genere Modalità Frequenza assoluta Femmina 19 Maschio 34 Francesco Pauli & Nicola Torelli Descrittiva 21 / 1

22 Esempio: distribuzione di frequenza del genere letterario preferito Modalità Frequenza assoluta Avventura 1 Biografico 2 Comico/umoristico 1 Fantascienza 5 Fantasy 13 Giallo/noir/thriller 5 Psicologico 9 Romantico 5 Saggistica 2 Storico 6 Francesco Pauli & Nicola Torelli Descrittiva 22 / 1

23 Esempio: distribuzione di frequenza delle ore di sonno Modalità Frequenza assoluta Francesco Pauli & Nicola Torelli Descrittiva 23 / 1

24 Esempio: distribuzione di frequenza dell Altezza Per l altezza conviene definire delle classi. Modalità Frequenza assoluta Francesco Pauli & Nicola Torelli Descrittiva 24 / 1

25 Esempio: distribuzione di frequenza dell Altezza Per l altezza conviene definire delle classi. Modalità Frequenza assoluta Modalità Frequenza assoluta [160,165] 5 (165,170] 7 (170,175] 10 (175,180] 13 (180,185] 12 (185,190] 6 Francesco Pauli & Nicola Torelli Descrittiva 24 / 1

26 Esempio: distribuzione di frequenza dell Altezza Per l altezza conviene definire delle classi. Modalità Frequenza assoluta Modalità Frequenza assoluta [160,165] 5 (165,170] 7 (170,175] 10 (175,180] 13 (180,185] 12 (185,190] 6 Modalità Frequenza assoluta [160,185] 47 (185,190] 6 La scelta delle classi è arbitraria, va fatta in maniera ragionevole. Francesco Pauli & Nicola Torelli Descrittiva 24 / 1

27 Classi di differenti lunghezze Può capitare, o per scelta (si vuole fornire informazioni più dettagliate su parte della distribuzione), o per necessità (i dati sono già stati raggruppati in classi da qualcuno), di costruire delle classi utilizzando intervalli di lunghezza differente. In questo caso è conveniente definire anche la densità di frequenza. La densità è definita come: ( ) densità frequenza assoluta di Y sull intervallo =. di una classe lunghezza dell intervallo Francesco Pauli & Nicola Torelli Descrittiva 25 / 1

28 Esempio: amici di Facebook Modalità Freq. ass Francesco Pauli 563& Nicola Torelli 1 Descrittiva 26 / 1

29 Esempio: amici di Facebook Modalità Freq. ass Modalità Freq. ass [0,500] (500,1000] (1000,1500] (1500,2000] (2000,2500] (2500,3000] (3000,3500] Francesco Pauli 563& Nicola Torelli 1 Descrittiva 26 / 1

30 Densità di frequenza Modalità Freq. ass. Ampiezza classe Densità [0,100] /100=0.04 (100,200] /100=0.11 (200,300] /100=0.05 (300,400] /100=0.06 (400,500] /100=0.08 (500,1000] /500=0.022 (1000,5000] /4000= La densità ci dice il numero atteso di unità statistiche per ogni unità di misura della variabile. Nella prima classe, per esempio, ci aspettiamo di osservare 4 persone in un intervallo di 100 unità, nella penultima classe ci aspettiamo di vedere 2.2 unità ogni 100 (cioè2.2 unità tra 500 e 600, altrettante tra 600 e 700. Francesco Pauli & Nicola Torelli Descrittiva 27 / 1

31 Esempio: ore di sonno, maschi e femmine Femmine Modalità Freq. ass Maschi Modalità Freq. ass Francesco Pauli & Nicola Torelli Descrittiva 28 / 1

32 Esempio: altezza, maschi e femmine Femmine Modalità Freq. ass. [160,165] 5 (165,170] 4 (170,175] 4 (175,180] 5 (180,185] 1 (185,190] 0 Maschi Modalità Freq. ass. [160,165] 0 (165,170] 3 (170,175] 6 (175,180] 8 (180,185] 11 (185,190] 6 Francesco Pauli & Nicola Torelli Descrittiva 29 / 1

33 Distribuzione condizionata Le distribuzioni delle ore di sonno o dell altezza per una fissata modalità del genere (maschio/femmina) sono distribuzioni condizionate. Se indichiamo in modo generico con Y il carattere che stiamo studiando (le ore di sonno, per esempio) e con X il carattere tramite cui estraiamo le unità statistiche da considerare nell analisi (il genere, nel nostro caso), si dice variabile Y condizionata a X = x e si indica Y X = x la restrizione di Y al sottoinsieme X = x. Francesco Pauli & Nicola Torelli Descrittiva 30 / 1

34 Distribuzione condizionata (cont) La distribuzione della variabile Y X = x viene normalmente detta la distribuzione di Y condizionata a X = x o, equivalentemente, la distribuzione di Y dato X = x. Si osservi che esiste una distribuzione condizionata (di Y dato X) per ogni modalità di X. La distribuzione della variabile Y senza distinzione per condizione rispetto a X è detta distribuzione marginale. Francesco Pauli & Nicola Torelli Descrittiva 31 / 1

35 Esempio: ore di sonno Femmine Modalità Freq. ass Maschi Modalità Freq. ass Totale Modalità Freq. ass Francesco Pauli & Nicola Torelli Descrittiva 32 / 1

36 Esempio: ore di sonno Modalità Freq. ass. Femmine Maschi Totale Francesco Pauli & Nicola Torelli Descrittiva 33 / 1

37 Frequenze relative Dividendo una frequenza assoluta per il numero totale di unità statistiche (N nel nostro caso) otteniamo le cosiddette frequenze relative, ovvero ( frequenze relative ) = ( ( frequenze assolute ) numero totale di osservazioni ) Hanno il vantaggio, rispetto alle frequenze assolute, di permettere di confrontare distribuzioni di frequenza basate su numeri differenti di unità statistiche. Francesco Pauli & Nicola Torelli Descrittiva 34 / 1

38 Esempio: amici su Facebook Modalità Freq. ass. Freq. rel. [0,100] 4 4/52=0.077 (100,200] 11 11/52=0.212 (200,300] 5 5/52=0.096 (300,400] 6 6/52=0.115 (400,500] 8 8/52=0.154 (500,1000] 11 11/52=0.212 (1000,5000] 7 7/52=0.135 Francesco Pauli & Nicola Torelli Descrittiva 35 / 1

39 Distribuzioni di frequenza: notazione y i modalità i/ classe (c i 1,c i ] del carattere y, i = 1,2,...,k (k modalità/classi); n i frequenza assoluta numero di unità statistiche che possiedono la modalità/classe y i ; N numero totale di osservazioni (N = n 1 + n n k ); f i frequenza relativa (f i = n i /N). modalità/classe frequenze assolute frequenze relative y 1 n 1 f 1 = n 1 /N y 2 n 2 f 2 = n 2 /N... y k n k f k = n k /N Totale N 1 Francesco Pauli & Nicola Torelli Descrittiva 36 / 1

40 Avviso generale Ogni libro usa una propria notazione, magari diversa da quella appena introdotta. Una altra notazione comune è, per esempio, la seguente y i modalità/classe i del carattere y, i = 1,2,...,k (k modalità/classi) f i frequenza assoluta numero di unità statistiche che possiedono la modalità/classe y i n numero totale di osservazioni (n = f 1 + f f k ) p i frequenza relativa (p i = f i /n) Qualunque scelta va bene: basta definire cosa si intende con ciascun simbolo ed essere coerenti. Francesco Pauli & Nicola Torelli Descrittiva 37 / 1

41 Il simbolo (sommatoria) Cosa intendiamo per N = k i=1 ovvero per Somma per i che va da 1 a k? N = n 1 + n n k Alcune proprietà 1. ki=1 (y i + x i ) = k i=1 y i + k i=1 x i 2. ki=1 ay i = a k i=1 y i 3. Fate attenzione: k i=1 a = ak Esercizio: k i=1 f i =? n i Francesco Pauli & Nicola Torelli Descrittiva 38 / 1

42 Indice Francesco Pauli & Nicola Torelli Descrittiva 39 / 1

43 Finalmente un grafico! Possiamo cercare di visualizzare le distribuzioni di frequenza, rappresentando in qualche modo ciascuna modalità del carattere con la relativa frequenza. Esempio: il vostro rapporto con Sanremo. Modalità freq. freq. ass. rel. Visto e piaciuto Visto e non piaciuto Non l ho visto Non l'ho visto Visto e non piaciuto Visto e piaciuto Francesco Pauli & Nicola Torelli Descrittiva 40 / 1

44 Diagramma a torta Il grafico è costruito ponendo rappresentando ogni modalità con una fetta di torta proporzionale di superficie pari alla sua frequenza: rangolo = 360 frequenza assoluta/n o angolo = 360 frequenza relativa Francesco Pauli & Nicola Torelli Descrittiva 41 / 1

45 Finalmente un grafico! Esempio: generi letterari preferiti Fantasy Fantascienza Comico/umoristico Biografico Giallo/noir/thriller Avventura Storico Psicologico Saggistica Romantico Francesco Pauli & Nicola Torelli Descrittiva 42 / 1

46 Finalmente un grafico! Esempio: generi letterari preferiti Storico Saggistica Romantico Psicologico Giallo/noir/thriller Fantasy Fantascienza Comico/umoristico Biografico Avventura Frequenza asoluta Notiamo che, se la variabile non è ordinale, l ordine delle modalità nel grafico è arbitrario. Francesco Pauli & Nicola Torelli Descrittiva 42 / 1

47 Esempio: numero di libri letti Frequenza (assoluta) Il grafico è stato costruito ponendo assex = modalità riportate nella distribuzione di frequenza (altezza barre) = (frequenze assolute) Numerodi libri letti Francesco Pauli & Nicola Torelli Descrittiva 43 / 1

48 Esempio: altezze [160,165] 5 (165,170] 7 (170,175] 10 (175,180] 13 (180,185] 12 (185,190] 6 Il grafico è stato costruito ponendo (base rettangoli) = intervallini riportati nella 1 colonna della distribuzione di frequenza (area rettangoli) (frequenze assolute) Il simbolo significa proporzionale a. Francesco Pauli & Nicola Torelli Descrittiva 44 / 1

49 Esempio: altezze Il grafico è stato costruito ponendo (base rettangoli) = intervallini riportati nella 1 colonna della distribuzione di frequenza Density (area rettangoli) (frequenze assolute) Il simbolo significa proporzionale a. Essendo l area dei rettangoli uguale a base altezza, se le gli intervalli hanno uguale ampiezza, di fatto l altezza coincide con (o è proporzionale a) la frequenza assoluta: (altezza rettangoli) = (frequenze assolute) Altezza Francesco Pauli & Nicola Torelli Descrittiva 44 / 1

50 Modalità Freq. rel. Ampiezza classe Densità [0,100] (100,200] (200,300] (300,400] (400,500] (500,1000] (1000,5000] Amici in Facebook Francesco Pauli & Nicola Torelli Descrittiva 45 / 1

51 Vale anche per le distribuzioni condizionate Esempio: altezze di maschi e femmine Maschio Density 0.06 Femmina Altezza Francesco Pauli & Nicola Torelli Descrittiva 46 / 1

52 Vale anche per le distribuzioni condizionate Esempio: ore di studio di maschi e femmine Maschio Density 0.04 Femmina ques$orestudiosett Francesco Pauli & Nicola Torelli Descrittiva 47 / 1

53 Vale anche per le distribuzioni condizionate Esempio: voto di matura di maschi e femmine Maschio Density 0.06 Femmina ques$votomatura Francesco Pauli & Nicola Torelli Descrittiva 48 / 1

54 Vale anche per le distribuzioni condizionate Esempio: ore di sonno di maschi e femmine S Density 0.06 No ques$orestudiosett Francesco Pauli & Nicola Torelli Descrittiva 49 / 1

55 Terminologia Per variabili categoriali, la rappresentazione prende il nome di diagramma a torta o diagramma a barre. Per variabili discrete, la rappresentazione prende il nome di diagramma a barre. Per variabili continue, la rappresentazione prende il nome di istogramma. Francesco Pauli & Nicola Torelli Descrittiva 50 / 1

56 Osservazioni Le rappresentazioni grafiche di distribuzioni di frequenza forniscono una immagine della distribuzione dei dati: barre o scatole più alte rappresentano modalità più frequenti; Francesco Pauli & Nicola Torelli Descrittiva 51 / 1

57 Osservazioni Le rappresentazioni grafiche di distribuzioni di frequenza forniscono una immagine della distribuzione dei dati: barre o scatole più alte rappresentano modalità più frequenti; aiutano a descrivere la forma della distribuzione dei dati; Francesco Pauli & Nicola Torelli Descrittiva 51 / 1

58 Osservazioni Le rappresentazioni grafiche di distribuzioni di frequenza forniscono una immagine della distribuzione dei dati: barre o scatole più alte rappresentano modalità più frequenti; aiutano a descrivere la forma della distribuzione dei dati; sono fortemente comunicative; Francesco Pauli & Nicola Torelli Descrittiva 51 / 1

59 Osservazioni Le rappresentazioni grafiche di distribuzioni di frequenza forniscono una immagine della distribuzione dei dati: barre o scatole più alte rappresentano modalità più frequenti; aiutano a descrivere la forma della distribuzione dei dati; sono fortemente comunicative; ma devono essere ben costruite! Francesco Pauli & Nicola Torelli Descrittiva 51 / 1

60 Esempio: amici di Facebook Quale di questi istogrammi è utile? Quale fornisce troppi dettagli? Quale nasconde troppo? e e e e e Amici in Facebook Amici in Facebook Amici in Facebook Amici in Facebook Francesco Pauli & Nicola Torelli Descrittiva 52 / 1

61 Esempio: Voto di maturità? Voto di maturita? Voto di maturita? Voto di maturita? Voto di maturita? Francesco Pauli & Nicola Torelli Descrittiva 53 / 1

62 Osservazioni: ampiezza delle classi degli istogrammi (cont) Pochi intervalli, pochi dettagli. Troppi intervalli, troppi dettagli, probabilmente peculiari del campione a disposizione. È conveniente fare più di un grafico: provare differenti lunghezze per gli intervalli e poi scegliere. Il numero degli intervalli deve dipendere dal numero dei dati! Francesco Pauli & Nicola Torelli Descrittiva 54 / 1

63 Un numero ragionevole di intervalli Sono state suggerite varie regole. Due tra le più usate sono: 1. Sturges: (num. intervalli) = 1 + log 2 (num. dati) 2. Freedman & Diaconis: (lunghezza intervalli) = 2(scarto interquartile)(num. dati) 1/3 Non vanno però usate in maniera automatica. Sono solo un punto di partenza... Francesco Pauli & Nicola Torelli Descrittiva 55 / 1