ZIBALDONE DEL CORSO DI STATISTICA A Di

Transcript

1 ZIBALDONE DEL CORSO DI STATISTICA A Di Mario Romanazzi 1 Argomenti non compresi in Ross, Introductory Statistics 1.1 Definizione di outlier secondo Tukey Il punto di partenza di Tukey è la regola empirica delle aree: per una distribuzione campionaria unimodale e simmetrica, simile alla gaussiana, l intervallo x n ± 3s X contiene approssimativamente il 99.73% dei dati e può essere usato per individuare i dati regolari. Gli outliers sono tutti i dati esterni a tale intervallo. Qui x n e s X indicano media e deviazione standard campionarie, rispettivamente. Il problema di questo semplice criterio è la mancanza di robustezza delle statistiche campionarie utilizzate. Media campionaria e deviazione standard campionaria, infatti, risentono della presenza di outliers. In particolare, la media tende a spostarsi verso l outlier, mascherandolo. Quindi, ogni criterio per il riconoscimento degli outliers fondato su queste due statistiche rischia di mancare il proprio obiettivo. La proposta di Tukey è di ottenere stime robuste degli estremi dell intervallo di regolarità, o barriere, B INF, B SUP utilizzando i quartili campionari. Le espressioni sono: B INF = ˆx (ˆx 0.75 ˆx 0.25 ), B SUP = ˆx (ˆx 0.75 ˆx 0.25 ). Qui ˆx 0.25 e ˆx 0.75 sono le stime campionarie del primo e del terzo quartile. I dati inferiori a B INF o superiori a B SUP sono definiti outliers. Questo criterio è utilizzato, ad esempio, nella costruzione del diagramma scatola-baffi. La costante 3/2 presente nella formula è stata suggerita da Tukey per assicurare all intervallo di regolarità B INF, B SUP una probabilità simile a quella della regola empirica delle aree, in ipotesi di normalità. Non è difficile verificare che l area sottesa ad una curva gaussiana in questo intervallo è 99.30%, circa. 1.2 Legge dei grandi numeri La legge dei grandi numeri descrive il comportamento delle medie campionarie, al crescere della numerosità campionaria. 1

2 1 ARGOMENTI NON COMPRESI IN ROSS, INTRODUCTORY STATISTICS 2 Consideriamo un campione casuale di numerosità n da una variabile X con media µ e deviazione standard finita σ > 0. Date le modalità del campionamento, le variabili campionarie X 1, X 2,, X n a) hanno la stessa distribuzione di probabilità di X e b) sono a due a due stocasticamente indipendenti. Queste condizioni implicano che la media campionaria X n = n i=1 X i/n è una variabile aleatoria con valore atteso E(X n ) = µ e deviazione standard SD(X n ) = σ/ n. La legge dei grandi numeri descrive la probabilità dell evento C n = { X n : X n µ < ɛ } = { X n : µ ɛ < X n < µ + ɛ }, in cui ɛ è una quantità positiva arbitraria. E chiaro che, per ogni n, C n comprende quei valori della media campionaria la cui differenza dalla media µ della popolazione campionata è al più ɛ. La legge dei grandi numeri afferma che la probabilità di tale evento, comunque si scelga ɛ > 0, converge a 1, al divergere di n: lim P { X n : X n µ < ɛ } = 1. (1) Questo risultato è di fondamentale importanza nelle applicazioni statistiche. Esso assicura che, se n, è praticamente certo che la media campionaria si trovi ad una distanza non superiore ad ɛ dalla media della popolazione, per quanto piccolo sia ɛ > 0. Vale la pena osservare che, in virtù del teorema sulla probabilità dell evento complementare, lim P { X n : X n µ ɛ } = 0, (2) cioè, se n, è praticamente impossibile che la discrepanza della media campionaria rispetto alla media della popolazione superi una quantità positiva ɛ, scelta arbitrariamente. Un caso particolare della legge dei grandi numeri è il teorema di Bernoulli, relativo alla frequenza relativa campionaria. Sia A una caratteristica delle unità della popolazione e sia 0 < p A < 1 la corrispondente probabilità. Indichiamo con X A la variabile che descrive la presenza/assenza (o la frequenza assoluta) di A in una osservazione a caso: X A = 1 se osserviamo A, evento con probabilità p A, X A = 0 se osserviamo A C, evento con probabilità 1 p A. Segue facilmente che E(X A ) = p A e SD(X A ) = p A (1 p A ). La frequenza relativa campionaria X n,a è la media campionaria delle variabili X A,1, X A,2,, X A,n ottenute da un campionamento casuale di numerosità n di X A. Essa verifica E(X n,a ) = p A e SD(X n,a ) = p A (1 p A )/n. Valgono tutte le ipotesi della legge dei grandi numeri, pertanto per ogni ɛ > Proprietà degli stimatori lim P { X n,a : X n,a p A < ɛ } = 1. (3) Supponiamo che nella popolazione di riferimento sia osservabile una variabile X la cui distribuzione dipende da un parametro θ incognito. Tale parametro può essere la frequenza

3 1 ARGOMENTI NON COMPRESI IN ROSS, INTRODUCTORY STATISTICS 3 relativa p A di una caratteristica A, la media µ di una variabile numerica, il coefficiente di correlazione lineare ρ di una coppia di variabili numeriche, ecc. Il nostro problema è ottenere una stima di θ sulla base di un campione casuale X 1, X 2,, X n di X. Tale operazione richiede di individuare una statistica campionaria W n = h(x 1, X 2,, X n ), detta stimatore, la cui distribuzione dipende da θ, idonea a fornire le stime richieste. Stimatori frequentemente usati sono la frequenza relativa campionaria, la media campionaria, la varianza campionaria, il coefficiente di correlazione campionario. Gli stimatori, per essere utili, devono possedere alcune proprietà che descrivono, da punti di vista diversi, l errore dello stimatore W n rispetto al parametro θ oggetto di stima. ˆ NON DISTORSIONE O CORRETTEZZA E(W n ) = θ, per ogni n 1. Poichè E(W n ) = θ equivale a E(W n θ) = 0, questa proprietà stabilisce che l errore dello stimatore rispetto al parametro sia privo di componente sistematica. ˆ CONSISTENZA Se W n è non distorto, la misura standard dell errore di campionamento è la deviazione standard SD(W n ) = E(W n θ) 2 = E(W n E(W n )) 2. Nella teoria della stima questa quantità è chiamata errore standard dello stimatore W n ed è indicata con SE(W n ). La consistenza in media quadratica richiede che l errore standard converga a zero quando la numerosità campionaria cresce oltre ogni limite: lim SE(W n) = 0. (4) La consistenza in media quadratica implica una proprietà più debole, ma assai significativa, la consistenza in probabilità. Essa richiede che, per ogni ɛ > 0: lim P {W n : W n θ < ɛ} = 1. (5) Questa proprietà ricorda la legge dei grandi numeri ed ha un interpretazione analoga. ˆ NORMALITA ASINTOTICA Diversamente dalle proprietà precedenti, qui si considera la distribuzione di probabilità, più specificamente, la funzione di ripartizione di W n, per numerosità n abbastanza elevate. Si richiede che tale distribuzione sia ben approssimata da una distribuzione normale, cioè W n AN(θ, SE(W n )). (6) La principale applicazione è l approssimazione della funzione di ripartizione e dei quantili di W n mediante la funzione di ripartizione e i quantili della normale. In particolare, dalla (6) si ricava l intervallo di confidenza asintotico di livello 1 α per il parametro θ w n ± z 1 α/2 ŜE(W n ), (7) in cui z 1 α/2 è il percentile d ordine 1 α/2 della normale standard, w n è la determinazione campionaria di W n e ŜE(W n) è la stima campionaria di SE(W n ).

4 2 ERRATA CORRIGE ROSS, INTRODUZIONE ALLA STATISTICA 4 Esempio 1 Consideriamo l indagine Il fumo in Italia svolta nel 2012 dall Istituto Doxa per conto dell Istituto Superiore di Sanità. La popolazione di riferimento comprende tutti gli italiani adulti (età non inferiore a 15 anni), pari a N = 52.1 milioni di soggetti. La numerosità campionaria è n = 3086 e la stima campionaria della frequenza relativa dei fumatori è x A,n = Qual è la stima della frequenza assoluta dei fumatori? Indichiamo con N A il numero dei fumatori nella popolazione di riferimento e con p A = N A /N la corrispondente frequenza relativa. Evidentemente, N A = Np A. Poichè la frequenza relativa campionaria X A,n è uno stimatore di p A dotato di buone proprietà, l espressione precedente suggerisce di considerare per il parametro θ = N A lo stimatore W n = NX A,n. (8) E chiaro che W n è una semplice funzione lineare della frequenza relativa campionaria X A,n e le sue proprietà si deducono facilmente da quelle di X A,n. In particolare, W n è non distorto. Infatti L errore standard è E(W n ) = E(NX A,n ) = NE(X A,n ) = Np A = N A. (9) SE(W n ) = NSE(X A,n ) = N pa (1 p A ) e converge a zero quando n. Infine, W n è asintoticamente normale essendo una funzione lineare di uno stimatore asintoticamente normale. La stima campionaria del numero di fumatori è w n = Nx A,n = milioni. La stima dell errore standard è ŜE(W n) = N x A,n (1 x A,n )/n = milioni. L intervallo di confidenza di livello 0.95 per N A è ± = (10.090, ). 2 Errata Corrige Ross, Introduzione alla Statistica ˆ Es. 11, C La probabilità di pioggia è 0.4, non 0.5. ˆ Es. 19 (c), C. 5, riepilogo. La domanda va intesa così. Qual è la probabilità che effettui almeno 1 vendita in ciascuno dei prossimi 3 mesi? ˆ Teorema centrale del limite, C L enunciato si deve intendere... e deviazione standard σ n. La deviazione standard riportata (σ/ n)è quella della media campionaria, non della somma. ˆ Livello di significatività osservato, C. 9.3, p Partendo dalla riga 9 ( dal basso) si deve leggere:... H 0 viene rifiutata se il valore p è minore o uguale al livello di significatività α,... ˆ Es. 10 (d), C. 7, riepilogo. Il suggerimento va letto come segue: ricorda che la somma di variabili aleatorie normali indipendenti è anch essa normale. n (10)

5 3 ESERCIZI SVOLTI DA ROSS, INTRODUZIONE ALLA STATISTICA 5 3 Esercizi svolti da Ross, Introduzione alla Statistica 3.1 Capitolo 4 ˆ Es. 3, C a) Ci sono due scenari da considerare separatamente. Il primo è che il sospetto sia colpevole (evento SC): subordinatamente a tale evento, è certo che il sospetto sia mancino, cioè P (M SC) = 1 (M indica l evento il sospetto è mancino). Il secondo è che il sospetto non sia colpevole (evento SNC, complementare di SC): subordinatamente a tale evento, la probabilità che il sospetto sia mancino è la probabilità che un individuo scelto a caso dalla popolazione sia mancino, cioè In altre parole, P (M SNC) = Infine, usando la probabilità totale P (M) = P (M SC)P (SC) + P (M SNC)P (SNC) = = b) Dobbiamo trovare P (SC M). Usando il teorema di Bayes e i risultati di a) P (SC M) = P (M SC) P (M) = P (M SC)P (SC) P (M) = Capitolo 5 ˆ Es. 7, C Lanciamo due dadi regolari e indichiamo con X 1, X 2 le v. a. che descrivono i rispettivi risultati. E chiaro che esse sono stocasticamente indipendenti e quindi (teorema di fattorizzazione) P (X 1 = i X 2 = j) = P (X 1 = i)p (X 2 = j) = 1/36 per ogni coppia (i, j), con i = 1,..., 6 e j = 1,..., 6. E utile visualizzare le coppie della distribuzione congiunta mediante la tabella 6 6 le cui righe corrispondono alle possibili determinazioni di X 1 e le cui colonne corrispondono alle possibili determinazioni di X 2 (Tab. 1). X 1 X (1, 1) (1, 2) (1, 3) (1, 4) (1, 5) (1, 6) 2 (2, 1) (2, 2) (2, 3) (2, 4) (2, 5) (2, 6) 3 (3, 1) (3, 2) (3, 3) (3, 4) (3, 5) (3, 6) 4 (4, 1) (4, 2) (4, 3) (4, 4) (4, 5) (4, 6) 5 (5, 1) (5, 2) (5, 3) (5, 4) (5, 5) (5, 6) 6 (6, 1) (6, 2) (6, 3) (6, 4) (6, 5) (6, 6) Tabella 1: Le coppie di (X 1, X 2 ). Dobbiamo determinare i valori attesi delle due trasformazioni Y = min{x 1, X 2 }, Z = max{x 1, X 2 }. Il significato delle due trasformazioni è il seguente. Per ognuna delle 36 coppie della tabella dobbiamo trovare il minimo ed il massimo. Ad esempio, per la coppia (6, 2) il minimo è 2 ed il massimo è 6. Per le coppie sulla diagonale, il

6 3 ESERCIZI SVOLTI DA ROSS, INTRODUZIONE ALLA STATISTICA 6 minimo coincide col massimo. Pertanto, le determinazioni di Y e Z sono i valori da 1 a 6. Quali sono le rispettive probabilità? Un metodo è di considerare tutte le 36 coppie determinando minimo e massimo. Un metodo grafico più semplice è basato sul seguente ragionamento. Consideriamo dapprima il minimo, Y. E evidente che per tutte le coppie sulla prima riga o sulla prima colonna (11 coppie in totale) il minimo è 1. Ancora, per tutte le coppie sulla seconda riga o sulla seconda colonna non precedentemente considerate (9 coppie in totale) il minimo è 2. Completando l analisi per il resto della tabella otteniamo facilmente la distribuzione di probabilità di Y (Tab. 2). Un ragionamento simile ci fornisce la distribuzione di probabilità di Z (Tab. 3). Per tutte le coppie sull ultima riga o sull ultima colonna (11 coppie in totale) il massimo è 6. Per tutte le coppie sulla penultima riga o sulla penultima colonna non precedentemente considerate (9 coppie in totale) il massimo è 5, ecc.. Y P Y 11/36 9/36 7/36 5/36 3/36 1/36 Tabella 2: Distribuzione di probabilitè di Y = min{x 1, X 2 }. Z P Z 1/36 3/36 5/36 7/36 9/36 11/36 Tabella 3: Distribuzione di probabilitè di Z = max{x 1, X 2 }. E ora facile ricavare i valori attesi. Otteniamo E(Y ) = 91/ , E(Z) = 161/ Capitolo 7 ˆ Es. 2, C Abbiamo una popolazione dicotomica, con A : batteria difettosa e p A = 0.1. Posto n = 8, indichiamo con T 8,A e X 8,A = T 8,A /8 la frequenza assoluta e relativa, nel campione, delle batterie difettose. Sotto l ipotesi di campionamento con reinserimento, T 8,A Bi(n = 8, p A = 0.1. (a). P (T 8,A = 0) = (b) P (X 8,A > 0.15) = P (T 8,A > 1.2) = P (T 8,A 2) = 1 P (T 8,A 1) (c) P (0.08 X 8,A 0.12) = P (0.64 T 8,A 0.96) = 0. ˆ Es. 3, C La situazione è la stessa dell esercizio precedente, salvo la numerosità campionaria ora pari a n = 50. Per probabilità approssimate si intendono quelle ottenute mediante l approssimazione normale. Poichè p A = 0.1 è lontano da 0.5, la distribuzione binomiale è asimmetrica e l accuratezza dell approssimazione non è altissima. (a) P (T 50,A = 0) = P ( 0.5 N(5; 4.5 1/2 ) 0.5) = (valore esatto = ). (b) P (X 50,A > 0.15) = P (T 50,A > 7.5) = P (T 50,A 8) P (N(5; 4.5 1/2 ) 7.5) = (valore esatto ). (c) P (0.08 X 50,A 0.12) = P (4 T 50,A 6) P (3.5 N(5; 4.5 1/2 ) 6.5) =

7 3 ESERCIZI SVOLTI DA ROSS, INTRODUZIONE ALLA STATISTICA 7 (valore esatto ). Nell approssimazione normale viene usata la correzione di continuità. ˆ Es. 1, C. 7, riepilogo. I valori 517 e 120 vanno interpretati come i parametri µ (media) e σ (deviazione standard) della popolazione da cui si preleva il campione di 144 studenti. Vista la numerosità elevata, assumiamo X 144 AN(517, 10). Ora, indicando con Z la normale standard, P (X 144 > 507) P (Z > 1) = , P (X 144 > 517) P (Z > 0) = 0.5, P (X 144 > 537) P (Z > 2) = , P (X 144 > 550) P (Z > 3.3) = ˆ Es. 2, C. 7, riepilogo. Abbiamo una v. a. X, discreta, che assume i valori 1, 2, 3, 4 con probabilità rispettivamente uguali a 0.1, 0.2, 0.3, 0.4. Il valore atteso µ e la deviazione standard σ di X sono 4 µ = E(X) = x i P (X = x i ) = 1(0.1) + 2(0.2) + 3(0.3) + 4(0.4) = 3, E(X 2 ) = i=1 4 x 2 i P (X = x i ) = 1 2 (0.1) (0.2) (0.3) (0.4) = 10, i=1 V ar(x) = E(X 2 ) (E(X)) 2 = 10 9 = 1, σ = V ar(x) = 1. Dobbiamo ricavare valore atteso e deviazione standard della media campionaria X 10 di un campione casuale di n = 10 valori di X. Sappiamo che (teorema base sulla media campionaria) a) il valore atteso della media campionaria coincide con quello della popolazione (o v. a.) campionata, b) la varianza della media campionaria si ottiene dividendo la varianza della popolazione per la numerosità campionaria. Pertanto E(X 10 ) = E(X) = µ = 3, V ar(x 10 ) = V ar(x) 10 = σ2 10 = 1 10, SD(X 10 ) = SD(X) 10 = σ 10 = 1 10.

8 3 ESERCIZI SVOLTI DA ROSS, INTRODUZIONE ALLA STATISTICA 8 ˆ Es. 16, C. 7, riepilogo. Indichiamo con X il voto ottenuto da uno studente. In base alle ipotesi, X ha la stessa distribuzione nelle due classi, non necessariamente normale, e E(X) = 77, SD(X) = 15. a) In base al TLC, il voto medio della classe A, indicato con X A, è approssimativamente normale con parametri E(X A ) = E(X) = 77, SD(X A ) = SD(X)/ 25 = 3. Si ricava P (72 < X A < 82) b) Come a), salvo che la numerosità è 64 e quindi ci aspettiamo una probabilità maggiore. Il risultato è c) Osserviamo che l evento X A > X B è equivalente all evento X A X B > 0. Inoltre, usando ancora il TLC, la variabile aleatoria Y = X A X B è la differenza di due normali che possiamo assumere stocasticamente indipendenti, dunque è anch essa (approssimativamente) normale, con valore atteso zero. Perciò la probabilità richiesta è 0.5 (evidentemente non serve calcolare la deviazione standard). d) Le due medie campionarie, X A, X B hanno lo stesso valore atteso, 77, ma diversa deviazione standard, SD(X A ) > SD(X A ). Siccome il voto 83 è più lontano dal centro di 76, ha una maggiore (densità di) probabilità nella classe A che non nella classe B. Si controlla che la densità di probabilità di 83 rispetto a X A è , mentre la densità di probabilità di 83 rispetto a X B è