Matematica con elementi di Informatica

Transcript

1 Statistica descrittiva ed inferenziale Matematica con elementi di Informatica Tiziano Vargiolu Dipartimento di Matematica Corso di Laurea Magistrale in Chimica e Tecnologie Farmaceutiche Anno Accademico 2018/2019 Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

2 Statistica descrittiva Scopo della statistica descrittiva è di descrivere una popolazione, generalmente usando pochi parametri. Per esempio, supponiamo di voler studiare l altezza degli abitanti di Marte: Esaminando la distribuzione delle altezze, notiamo che molti marziani hanno un altezza di circa 40 cm (in particolare, da 35 a 45 cm), e quasi tutti sono alti dai 30 ai 50 cm. Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

3 Statistica descrittiva Avendo assolto con successo il nostro compito, vogliamo ora fare la stessa cosa col pianeta Venere. Raccogliamo quindi le altezze di tutti e 150 i venusiani: In questo caso notiamo che molti venusiani hanno un altezza di circa 15 cm, e quasi tutti sono alti dai 10 ai 20 cm. Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

4 Concetto di parametro Confrontando le due tabelle, possiamo notare diverse cose: i marziani sono più alti dei venusiani; la variabilità assoluta nei marziani è più alta che nei venusiani: infatti, mentre quasi tutti (194 su 200) i marziani hanno altezze in un intervallo di 20 cm (da 30 a 50 cm), l intervallo analogo per i venusiani (144 su 150) è di soli 10 cm (da 10 a 20 cm). Nonostante queste differenze, ci sono similitudini importanti nelle distribuzioni delle due popolazioni: ogni dato membro ha più probabilità essere vicino alla media della popolazione che lontano; le forme delle due distribuzioni sono simmetriche, e quasi identiche. Siccome le due distribuzioni sono simili, abbiamo solo bisogno di descrivere in che cosa sono differenti. Possiamo ridurre questa informazione a pochi numeri, chiamati parametri della distribuzione. I due parametri significativi in questo caso dovrebbero dare una misura della media e della variabilità. Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

5 Media In questo caso, possiamo definire la media della popolazione in questo modo: µ X = 1 N N X i i=1 La media è quindi la somma di tutte le misurazioni diviso il loro numero. Tale media si indica comunemente col nome di media aritmetica, e viene indicata con la lettera greca µ (mu). L indice X che ha µ indica che stiamo considerando la media della variabile X; questo indice può venire omesso se non ci sono pericoli di confusione. Notiamo che la media è espressa nella stessa unità di misura dei dati originali. Applicando questa definizione ai campioni delle due popolazioni, otteniamo che l altezza media dei marziani è 40 cm e quella dei venusiani è 15 cm. Questi due numeri riassumono l informazione qualitativa che i marziani sono in media più alti dei venusiani. Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

6 Varianza Ora abbiamo bisogno di una misura della variabilità, cioé di una misura di quanto i dati sono dispersi intorno alla media. Supporremo che per i nostri scopi una deviazione positiva o negativa dalla media diano lo stesso effetto, quindi considereremo solo il valore assoluto delle deviazioni dalla media. Siccome è più comodo lavorare coi quadrati piuttosto che coi valori assoluti, come stima della dispersione presentiamo la varianza: σ 2 X = 1 N N i=1 (X i µ X ) 2 La varianza è quindi la somma dei quadrati di tutte le deviazioni dalla media diviso il loro numero, e si indica comunemente con il quadrato della lettera greca σ (sigma). Notiamo che l unità di misura della varianza è il quadrato dell unità di misura della popolazione. In particolare, la varianza dell altezza dei marziani è 25 cm 2, mentre la varianza dell altezza dei venusiani è 6.25 cm 2. Questi due numeri riassumono l informazione che l altezza assoluta dei marziani varia di più di quella dei venusiani. Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

7 Deviazione standard Siccome l unità di misura della varianza è il quadrato dell unità di misura della popolazione, la varianza è abbastanza difficile da visualizzare. Per questo, spesso si presenta la sua radice quadrata, che si indica col nome di deviazione standard: σ X = 1 N N i=1 (X i µ X ) 2 Notiamo che la deviazione standard ha la stessa unità di misura dell osservazione originale. Nel nostro esempio, la deviazione standard dell altezza dei marziani è 5 cm, mentre la deviazione standard dell altezza dei venusiani è 2.5 cm. Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

8 La distribuzione normale Abbiamo visto che, siccome le forme delle distribuzioni di marziani e venusiani sono simili, le popolazioni possono venire descritte in modo preciso da due numeri. Possiamo inoltre notare che (ad esempio): circa il 68% delle altezze delle popolazioni distano meno di 1 deviazione standard dalla media; circa il 95% delle altezze delle popolazioni distano meno di 2 deviazioni standard dalla media. Questi risultati qualitativi ricorrono cosí spesso nella pratica che i matematici li hanno studiati, e hanno trovato che se le misure osservate sono la somma di molti fattori aleatori indipendenti, le misure risultanti prenderanno valori che sono distribuiti come le altezze appena viste dei marziani e dei venusiani (teorema limite centrale). In particolare, la distribuzione risultante è chiamata distribuzione normale, o gaussiana, e la sua altezza per ogni dato x è 1 σ 2π exp ( 1 2 ( ) ) x µ 2 σ = 1 σ 2π e 1 2 ( x µ σ ) 2 Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

9 Statistica inferenziale Non sempre si può osservare tutta una popolazione: spesso, per motivi economici o pratici, si è costretti a esaminarne solo una parte ristretta. Scopo della statistica inferenziale è tentare di descrivere una intera popolazione a partire da pochi individui, che si spera siano in qualche modo rappresentativi dell intera popolazione. Una definizione tipica della statistica inferenziale è la seguente. Chiamiamo campione statistico di taglia n, o più semplicemente campione di taglia n, un insieme di n individui scelti a caso dalla popolazione. Usualmente si suppone di avere una popolazione, che supponiamo gaussiana, da cui é stato estratto un campione di taglia n. Dato che osserviamo solo il campione, e non tutta la popolazione, non possiamo più conoscere la media µ e la deviazione standard σ esatte di tutta la popolazione. Possiamo però stimare media e varianza dal campione. Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

10 Media, varianza e deviazione standard campionarie Possiamo stimare media e varianza (e quindi deviazione standard) della popolazione iniziale dal campione. Chiamiamo media campionaria la quantità X = 1 n e varianza campionaria la quantità s 2 X = 1 n 1 n X i i=1 n i=1 (X i X) 2 quindi la deviazione standard campionaria viene ad essere n 1 s X = (X i X) n 1 2 i=1 Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

11 Analogie e differenze tra parametri e stime Notiamo due differenze tra la definizione di varianza del campione e quella della varianza dell intera popolazione: la media µ della popolazione (ora sconosciuta) è stata rimpiazzata dalla media del campione X (che possiamo calcolare); in questa espressione si divide per n 1 invece che per n. La ragione di questa differenza è che stavolta gli scarti sono scarti dalla media del campione e non dalla vera media della popolazione totale; siccome anche la variabile X i concorre a calcolare la media, gli scarti X i X hanno meno variabilità degli scarti X i µ; per compensare questo effetto, si divide per una quantità minore di n. Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

12 Le stime sono...stime! Supponiamo ora di estrarre un campione di taglia 10 dalla popolazione dei marziani, e di ottenere il risultato raffigurato nella figura (B). (oppure C) (oppure D) Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

13 Dipendenza delle stime dal campione Se proviamo a calcolare la media e la deviazione standard del campione (B), otteniamo X = 41.5 cm e s X = 3.8 cm. Possiamo vedere che i valori sono vicini, ma non uguali, a quelli della popolazione iniziale (ricordiamo che abbiamo µ = 40 cm e σ = 5 cm). Dobbiamo però notare che nel campione considerato non c é niente di speciale: questo significa che diversi campioni porteranno a diversi risultati. Supponiamo infatti di estrarre altri due campioni di taglia 10 dalla popolazione di marziani: per il campione C abbiamo X = 36 cm, e s X = 5 cm; per il campione D abbiamo X = 40 cm, e s X = 5 cm. Anche qui, sia la media che la deviazione standard dei campioni sono vicine a quelle dell intera popolazione. Possiamo quindi notare che la stima della media dipende dal particolare campione utilizzato. Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

14 Variabilità delle stime Per quantificare quanto questa stima sia accurata, facciamo ora un importante cambio di prospettiva: proviamo a considerare altri 22 campioni di taglia 10 e ne rappresentiamo le medie campionarie: Notiamo che la popolazione delle medie: tende a distribuirsi normalmente intorno alla media della popolazione iniziale; con una variabilità abbastanza bassa (deviazione standard 1.6). Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

15 Lo stimatore delle medie è gaussiano! Non possiamo però dire con precisione che la media di un campione sia uguale alla media della popolazione, e non possiamo nemmeno pensare di fare la media su tutti i campioni. Infatti anche per numeri bassi come N = 200 e n = 10, ci sono ( ) 1016 possibili medie che un campione di taglia 10 può assumere! È quindi impensabile considerare tutti i possibili campioni. Tuttavia, poiché la media è una somma di fattori aleatori (nel nostro caso 10) aventi distribuzione uguale, ci aspettiamo che questa grande popolazione di medie abbia una distribuzione simile alla normale, e questo indipendentemente dalla distribuzione di partenza. Ha quindi senso descrivere la distribuzione della media usando i parametri della legge normale, cioé media e deviazione standard. Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

16 Lo stimatore delle medie è gaussiano! Proviamo quindi a calcolare la media delle medie X X e la deviazione standard delle medie s X : nel nostro caso X X = 40 e s X = 1.6. Notiamo che: la media delle medie è uguale a quella della popolazione; questo è un fatto notevole, dato che X X non è la media di un campione estratto direttamente dalla popolazione originale di 200 marziani, ma è la media di un campione di taglia 25 estratto dalla popolazione delle medie composta da ( ) elementi. La deviazione standard delle medie ottenuta con il nostro campione s X = 1.6 NON è invece paragonabile alla deviazione standard della popolazione σ X = 5. Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

17 Errore standard della media La deviazione standard delle medie è un indicatore della variabilità delle medie (campionarie) della popolazione, e non della popolazione originale. Vedremo che la vera deviazione standard della media di un campione di taglia n è uguale a σ X = σ X n Se si dispone di un solo campione, si può stimare la deviazione standard della media con la quantità s X = s X n chiamata errore standard della media, dove s X è la deviazione standard del campione di cui si dispone. Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

18 Comportamento asintotico dei campioni Un ultima cosa da notare è il comportamento degli stimatori della media, della deviazione standard e dell errore standard della media quando n cresce. Prendiamo due marziani, e calcoliamone X, s X e s X ; poi aggiungiamone un altro e ricalcoliamo X, s X e s X, e cosí via: Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

19 Comportamento asintotico dei campioni Dalla figura notiamo che, man mano che aggiungiamo marziani al nostro campione, la media e la deviazione standard del campione approssimano quella della popolazione con precisione sempre crescente. Questa precisione si può vedere nel fatto che l errore standard della media decresce al crescere del numero n di individui nel campione. Quindi l errore standard della media non esprime la variabilità della popolazione originale, come fa la deviazione standard, ma dà un indice della certezza con cui la media di un campione stima la media vera della popolazione. Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20

20 ...ma come giustificare tutto questo? Nelle slides precedenti abbiamo osservato parecchi fenomeni interessanti, che spesso appaiono in statistica, ma che dovrebbero essere giustificati da una teoria: teorema limite centrale: se le misure osservate sono la somma di molti fattori aleatori indipendenti, le misure risultanti sono gaussiane indipendentemente dalla distribuzione iniziale! perchè nella varianza campionaria si divide proprio per n 1 invece che per n? perchè la deviazione standard della media di un campione di taglia n è uguale a quella della popolazione iniziale divisa proprio per n? perchè gli stimatori convergono ai parametri che stanno stimando... molto prima di arrivare a tutta la popolazione? La matematica che può dare risposte a queste domande è la probabilità. Statistica descrittiva ed inferenziale Anno Accademico 2018/ / 20