Richiami di inferenza statistica. Strumenti quantitativi per la gestione. Emanuele Taufer

Transcript

1 Richiami di inferenza statistica Strumenti quantitativi per la gestione Emanuele Taufer

2 Inferenza statistica Inferenza statistica: insieme di tecniche che si utilizzano per ottenere informazioni su una (o più) caratteristiche (o parametri) su una data popolazione sulla base di dati campionari. Alcuni aspetti formali: Popolazione: un insieme di N unità (persone, imprese, Stati) che siamo interessati ad analizzare. Indichiamo con U = { x1, x2,, x N } l insieme delle modalità della caratteristica che siamo interessati ad analizzare (sesso, altezza, reddito, addetti, PIL, etc.) misurate su ogni unità della popolazione. Campione: un sottoinsieme di dimensione n, ( n << N) delle unità della popolazione selezionate con criteri probabilistici. Poichè a priori non sappiamo quali unità faranno parte del campione, le corrispondenti modalità sono delle variabili casuali. Indichiamole con C = { X1, X2,, X n }

3 Parametri e statistiche Parametri: caratteristiche della popolazione. Tipicamente la media ( μ), la varianza ( σ 2 ), etc.. Di solito si usano lettere dall alfabeto greco per indicare i parametri della popolazione. Statistiche: caratteristiche del campione. Tipicamente la media, la varianza (corretta), n 1 X =, n i=1 X i = (. n 1 X i X ) 2 i=1 S 2 1 Poiché il valore delle statistiche cambia con il campione selezionato, a priori, ossia prima della selezione del campione, sono delle variabili casuali. n

4 Esempi stimare l età (o l altezza) media della popolazione residente in Italia stimare la percentuale di consumatori di una certa regione che acquista abitualmente un certo tipo di prodotto prevedere (con un dato margine di errore) l esito delle elezioni verificare se una certa campagna pubblicitaria ha portato ad un aumento delle vendite

5 Tecniche di inferenza Le principali tecniche di inferenza statistica sono: Stima: quando interessa individuare il valore di una certa caratteristica. Si distingue in: puntuale intervallare Verifica delle ipotesi (o test): quando i dati campionari sono utilizzati per verificare una certa ipotesi su un parametro della popolazione.

6 Stima Si consideri il caso in cui siamo interessati a determinare un valore numerico (la stima) sufficientemente preciso per la media μ di una certa popolazione. Dato un campione, proveniente dalla popolazione di interesse, sembra naturale utilizzare X come indicatore del valore di μ Terminologia Stimatore: la regola per effettuare la stima (calcola la media). Lo stimatore è una variabile casuale poichè definito a priori su tutti i possibili risultati campionari. Stima: il valore dello stimatore ottenuto dal campione. Un valore numerico. Esistono diversi metodi di stima che permettono di ottenere delle buone regole di stima per problemi anche molto complessi.

7 Precisione delle stime Per valutare la precisione delle regole di stima è opportuno ragionare a priori su tutti i possibili risultati campionari. Idealmente questo si può fare agevolmente se si conosce la distribuzione di probabilità dello stimatore adottato. Poichè nella pratica questo non sempre è possibile, si utilizzano alcuni indicatori di sintesi. Indichiamo con parametro θ. T uno stimatore per il generico 1. Il valore atteso, ossia la media calcolata su tutti i possibili risultati campionari. Se E(T) = θ θ si dice che lo stimatore è non distorto o corretto poiché il suo valore atteso coincide con il parametro che si vuole stimare. In caso contrario la quantità E(T) θ 0 è definita bias o distorsione. La media campionaria è uno stimatore corretto per

8 la media della popolazione μ poiché E( X ) = μ, μ

9 2. Una indicatore della dispersione dello stimatore, lo MSE (mean squared error), misura la distanza quadratica media dello stimatore dal parametro. ) 2 (E(T) θ) 2 MSE(T) = E(T θ = V ar(t) + Nel caso della media, poiché è corretta per μ, MSE( X ) = V ar( X ) = σ 2 /n dove σ 2 indica la varianza della popolazione campionata. Bias 2

10 Intervalli di confidenza (IC) (1 α) θ Un IC di livello per il parametro è un intervallo casuale (dipende dal campione) che include il vero valore di con probabilità. θ (1 α) Anche per gli IC esiste una distinzione analoga a quella fra stimatore e stima: A priori, prima di selezionare il campione, la procedura di costruzione fornisce un IC che includerà il vero valore del parametro con probabilità. (1 α) A posteriori, l intervallo determinato dai dati non è più casuale e conterrà oppure no il vero valore del parametro. Questo non è, di solito, noto. La procedura di costruzione ci dà un certo grado di confidenza, pari a (1 α), ma nulla di più. Tipicamente α è piccolo per avere gradi di confidenza elevati. Ad esempio α = 0, 05 o. α = 0.01

11 Esempio

12 Esempio: IC per la media (1 α) Un IC di livello per la media di una popolazione μ è dato da μ X ± z S α/2 n L IC è esatto se la popolazione campionata è normale, è approssimato (per il teorema limite centrale) in altri casi S = S 2 z α/2 è il percentile normale standard. (1 α/2) Esempio: se allora z α = 0.05 = 1.96 per la distribuzione

13

14 Verifica delle ipotesi Nella teoria dei test i risultati campionari sono usati per decidere tra due ipotesi in competizione H0 H1 - ipotesi nulla - ipotesi alternativa Esempio Il prezzo medio di una stanza in hotel 4S a Londra è 150 Euro Possibili alternative il prezzo medio è il prezzo medio è il prezzo medio è ( ) H0 ( ) H1 > 150 < unilaterale - unilaterale - bilaterale

15 Errori nella decisione α = P(Rifiutare erroneamente ) H0 β = P(Accettare erroneamente ) H0

16 Esempio 1

17 Regole di decisione Esiste trade-off tra α e β e non è possibile minimizzarli contemporaneamente. Poiché H0 è l ipotesi fondamentale, la decisione è di rifiutare H0 (e quindi accettare H1) quando la probabilità dell errore di prima specie, α, molto piccola. Tipicamente si richiede che. α < 0.05 In generale la decisione è presa osservando il valore assunto da una certa statistica campionaria, definita, in questo caso, statistica test Le statistiche test sono diverse a seconda del problema considerato ed esistono metodi statistici per determinare regole ottimali.

18 Un esempio intuitivo Abbiamo un campione di n unità da una distribuzione normale a media μ e varianza σ 2 (nota). Vogliamo verificare il set di ipotesi: H0 : μ = 0 contro H0 : μ 0. X Poichè è stimatore per μ sembra ragionevole confrontarne il valore con quello indicato nell ipotesi nulla e rifiutare se questo è molto minore o molto maggiore di. 0 Per quantificare quel molto maggiore o molto minore, conviene di solito misurare le distanze in termini di deviazioni standard, ossia procediamo a standardizzare : X Z = ( X 0) Si noti che la standardizzazione usa il valore di μ specificato dall ipotesi nulla. Ossia si fanno i calcoli ipotizzando che questa sia effettivamente vera. Z = 1 Ad esempio, se, si trova ad una deviazione standard dall ipotesi nulla; se Z = 4 si trova a 4 deviazioni standard dall ipotesi nulla. Per decidere è necessario sapere quale distanza assicura ci assicura che la probabilità dell errore di prima specie sia piccola, diciamo. σ n α < 0.05

19

20 Riassumendo: La statistica test è: Z Z La regola di decisione è: rifiuta se supera un valore soglia che renda la probabilità dell errore di prima specie. α < 0.05 In altre parole, dobbiamo individuare un valore valore soglia) per il quale P( Z > z H0 è vera) = α z ( il Se dai dati osserviamo il valore z oss test, il valore soglia z è superato se della statistica P( Z > ) P( Z > è vera) < α z oss H0 z oss H0 è definito p-value ed è tipicamente fornito dai software per la decisione.

21

22

23

24 Esempio Il prezzo medio di una stanza in hotel 4S a Londra è 150 Euro Il prezzo medio è In termini di parametri possiamo scrivere H0 : μ = 150 contro H1 : μ 150 Supponiamo per semplicità che la popolazione sia normale con varianza σ 2 Un campione casuale di 25 unità fornisce un prezzo medio ( ) pari a Euro. la statisitca test è ( ) H0 150 ( ) H1 X 180 che si colloca a tre deviazioni standard dalla media il -value associato è. = 2500 ( ) z = 25 = p