Intervalli di confidenza

Transcript

1 Itervalli di cofideza Fracesco Lagoa Itroduzioe Questa dispesa riassume schematicamete i pricipali risultati discussi a lezioe sulla costruzioe di itervalli di cofideza. Itervalli di cofideza per la media di ua popolazioe Suppoiamo di aver a che fare co ua variabile statistica quatitativa X che si distribuisce ella popolazioe di riferimeto co media µ e variaza. Si desidera costruire u itervallo di cofideza per µ al livello α sulla base di u campioe casuale semplice (x... x ) di dimesioe. È ecessario distiguere il caso i cui la variaza della popolazioe è ota da quello i cui tale variaza è icogita.. Variaza ota Si tratta di u caso abbastaza raro elle applicazioi, ma i certe circostaze è possibile che idagii precedeti a quella effettuata redao possibile ua coosceza esatta della variaza. La costruzioe di u itervallo di cofideza per µ sotto l assuzioe di variaza ota, si basa sul seguete risultato: la media campioaria x = x i è ua variabile aleatoria che si distribuisce approssimativamete come ua ormale N(µ, ) i=

2 e tale approssimazioe migliora all aumetare della dimesioe campioaria. Se duque usiamo la media campioaria come stimatore della media della popolazioe, il fatto che la sua distribuzioe sia cetrata sul valore vero del parametro µ idica che x è uo stimatore o distorto. Ioltre, il rapporto misura la precisioe dello stimatore: come ci si potrebbe aspettare, tale precisioe è tato miore quato più elevata è la variaza e tato maggiore quato più elevata è la dimesioe campioaria. I talui casi, la variabile X si distribuisce esattamete come ua ormale: solo i queste circostaze x si distribuisce esattamete secodo la ormale N(µ, /). I tutti gli altri casi, la distribuzioe della media coampioaria è solo approssimata e duque i risultati che seguoo valgoo i modo approssimato, sebbee è importate ricordare che la qualità dell approssimazioe migliora al crescere di. Dal fatto che x N(µ, /), si deduce che x µ N(0, ). Per ogi valore di probabilità α, possiamo allora scrivere che P ( z α/ x µ z α/ ) = α dove z α/ è il quatile della ormale di ordie α/, ovvero il puto che si lascia a siistra u area sotto la ormale pari a α/. Ad esempio, se α = 0.95, allora z α/ =.96 (il calcolo del quatile z α/ corrispodete al livello di probabilità α va compiuto usado le opportue tavole o u PC). U itervallo di cofideza può allora essere costruito sulla base della seguete catea di uguagliaze: α = P ( z α/ x µ z α/ ) = α = P ( z α/ x µ z α/ ) = P ( x z α/ µ x + z α/ ) = P ( x z α/ µ x + z α/ )

3 I altre parole, è approssimativamete uguale a α la probabilità che i due estremi dell itervallo ( ) x z α/, x + z α/ cotegao il valore vero della media µ della popolazioe. Quello appea costruito è u itervallo di cofideza per la media µ al livello α. Il valore α idica il livello di copertura forito dall itervallo: esiste sempre ua probabilità pari ad α che i dati campioari provegao da ua popolazioe co ua media che si trova al di fuori dell itervallo. Si osservi che l itervallo che abbiamo costruito è cetrato sulla stima putuale della media x e ha u raggio pari a z α/ la cui lughezza dipede sia dal livello di copertura desiderato (da cui dipede il quatile z α/ ), sia dal grado di precisioe dello stimatore misurato dalla quatità meglio ota come errore stadard della stima. Come applicazioe umerica, cosideriamo il seguete esempio. Esempio Da iformazioi derivati da ua precedete aalisi, si sa che la durata delle telefoate che arrivao ad u call ceter si distribuisce co ua variaza pari a = 6 miuti quadrati. Si vuole calcolare u itervallo di cofideza al livello α = 0.95 per la durata media delle telefoate. A tale scopo, si estrae u campioe di = 0 telefoate che forisce le segueti durate: 7.36,.9,.9, 9.77, 5.99, 0.9, 9.57,.0, 6.,. Il calcolo dell itervallo desiderato è a questo puto piuttosto semplice: si calcola dapprima la media campioaria ed il suo errore stadard x = = 0 =.65 Se ioltre α = 0.95, il quatile desiderato è dato da z 0.05 =.96 3

4 per cui il raggio dell itervallo è dato da e l itervallo è duque dato da z =.479 ( , ) = (7.87,.45).. Variaza icogita Nella maggior parte delle applicazioi, è difficile avere ua stima attedibile della variaza della popolazioe e si preferisce i geere stimarla sulla base del campioe estratto. Ua stima o distorta della variaza della popolazioe è data da ( ) ˆ = (x i x) = x i x i= che o è altro che la variaza campioaria corretta dal fattore. Tale correzioe dipede dal fatto che, per piccoli campioi, la variaza campioaria è uo stimatore distorto della variaza della popolazioe, cioè la sua distribuzioe campioaria o ha come valore atteso il valore vero del parametro. Per gradi campioi, il fattore di correzioe e duque l uso della variaza campioaria forisce stime attedibili della variaza della popolazioe. I questo caso, per costruire u itervallo di cofideza della media µ della popolazioe, occorre utilizzare il fatto che la distribuzioe della variabile aleatoria x µ ˆ i= segue approssimativamete quella di ua t di Studet co gradi di libertà, dove è la dimesioe del campioe estratto e che tale approssimazioe migliora all aumetare di. La distribuzioe t di Studet è molto simile a quella di ua ormale stadardizzata. Essa è ifatti cetrata sullo 0 e simmetrica rispetto ad esso. Si differezia dalla distribuzioe ormale i quato ha delle code più pesati, ovvero valori lotai dallo 0 hao ua probabilità di essere estratti più elevata di quella che avrebbero avuto se fossero stati estratti da ua ormale stadardizzata. Tali differeze si atteuao sempre più all aumetare della umerosità campioaria, per cui quado è molto elevato, si può utilizzare la distribuzioe ormale stadardizzata i luogo della t. 4

5 La costruzioe dell itervallo di cofideza segue liee aaloghe a quelle mostrate ella sezioe precedete. Si idichi pertato co t,α/ il quatile di ordie α/ di ua t di Studet di gradi di libertà, ovvero il puto che si lascia a siistra u area sotto la t pari a α/. Ad esempio, se α = 0.95 e il campioe ha umerosità = 0, allora t,α/ =.6 (il calcolo del quatile t,α/ corrispodete al livello di probabilità α va compiuto usado le opportue tavole o u PC). U itervallo di cofideza può allora essere costruito sulla base della seguete catea di uguagliaze: α = P ( t,α/ x µ t,α/ ) = α ˆ ˆ ˆ = P ( t,α/ x µ t,α/ ) ˆ ˆ = P ( x t,α/ µ x + t,α/ ) ˆ ˆ = P ( x t,α/ µ x + t,α/ ) I altre parole, è approssimativamete uguale a α la probabilità che i due estremi dell itervallo ( ) ˆ ˆ x t,α/, x + t,α/ cotegao il valore vero della media µ della popolazioe. Cosiderado l esempio precedete sulle durate delle telefoate, u itervallo di cofideza costruito stimado la variaza della popolazioe al livello α = 0.95 può essere costruito stimado dapprima la variaza della popolazioe ( ) ˆ = (x i x) = = i= calcolado poi l errore stadard della stima ˆ 6.59 = 0 e ifie il raggio dell itervallo dato da: = 0.79 t 9,0.05 ˆ = =

6 Si osservi come il raggio di questo itervallo di cofideza è miore di quello trovato ella sezioe precedete: la ragioe risiede el fatto che il campioe ha forito ua stima della variaza iferiore alla variaza vera della popolazioe (la dimesioe campioaria deve essere sufficietemete elevata per dare stime affidabili della variaza della popolazioe). Ne segue u itervallo di cofideza più stretto di quello trovato i precedeza: ( , ) = (7.977,.555). 3 Calcolare la umerosita campioaria L ampiezza dell itervallo di cofideza per la media di ua popolazioe è data da d = z α/ / el caso di variaza ota. E facile osservare che, a parita del livello α scelto per l itervallo di cofideza e della variaza ella popolazioe, l ampiezza dell itervalo dipede dalla dimesioe campioaria, al crescere della quale l ampiezza si riduce. I molti casi applicativi, la dimesioe campioaria e fissata i parteza e dipede dal budget a disposizioe per l estrazioe del campioe. I altri casi (ad esempio i test cliici o i cotrollo della qualità) è più importate fissare l ampiezza d che l itervallo o può superare e determiare la dimesioe campioaria miima che garatisce tale requisito, cioè tale per cui quado < si ottiee u itervallo co ampiezza d > d (ovviamete, per tutti gli > si ottiee u itervallo co ampiezza d < d ). Per effettuare il calcolo di e sufficiete osservare che se deve essere z α/ d allora d z α/ ovvero ( ) d z α/ o ifie ( zα/ d ) () 6

7 I altre parole, per otteere u itervallo di cofideza di u ampiezza o superiore a d, è ecessario cosiderare il miimo itero che verifica la (), ovvero (zα/ ) = dove co x idichiamo il piu piccolo itero superiore ad x (ad esempio: 4. = 5; la fuzioe x si chiama cielo di x). Come applicazioe umerica, cosideriamo il seguete esempio. Esempio Da iformazioi derivati da ua precedete aalisi, si sa che la durata delle telefoate che arrivao ad u call ceter si distribuisce i modo approssimativamete ormale co media µ icogita e variaza = 6 miuti quadrati. Si desidera calcolare la dimesioe campioaria miima ecessaria per costruire u itervallo della durata media delle chiamate al livello 95% che abbia u ampiezza massima di 5 miuti. La dimesioe richiesta e data da (zα/ ) ( ) 4.96 = = = 9.83 = 0 d 5 Si osservi che la coosceza di è cruciale per la determiazioe della dimesioe campioaria ottimale. Quado la variaza della popolazioe è icogita, si usa cosiderare u valore cautelativo per, poedo pari a 4 o 6 volte il campo di variazioe atteso per la variabile di iteresse. Ad esempio, se pesiamo che le telefoate al call ceter possao durare da u miimo di 0 miuti ad u massimo di 30 miuti, utilizzeremo = (4 30) o = (6 30). Naturalmete ci si aspetta che la variaza abbia valori più bassi, ma è meglio utilizzare ua dimesioe campioaria troppo elevata che ua troppo bassa. d 4 Itervalli di cofideza per proporzioi Suppoiamo di aver a che fare co ua variabile statistica dicotomica X che si distribuisce ella popolazioe di riferimeto secodo la tabella di frequeze relative x 0 θ θ 7

8 dove θ idica la proporzioe (icogita) degli idividui che posseggoo la modalità. Si desidera costruire u itervallo di cofideza per θ al livello α sulla base di u campioe casuale semplice (x... x ) di dimesioe. Come vedremo, o è qui ecessario distiguere casi diversi, poichè la precisioe dello stimatore che utilizzeremo per θ dipede comuque dal valore icogito assuto da θ. La costruzioe dell itervallo si basa sul seguete risultato: la frequeza relativa campioaria ˆθ = x = x i è ua variabile aleatoria che si distribuisce approssimativamete come ua ormale N(θ, ˆθ( ˆθ) ) e tale approssimazioe migliora all aumetare della dimesioe campioaria. La frequeza relativa campioaria ˆθ o è altro che ua media campioaria, essedo le osservazioi dicotomiche. Cotiueremo tuttavia a far riferimeto a ˆθ ivece che a x per teere be distito il caso di stima di medie da quello di stima di proporzioi (per la verità o si tratta di casi distiti, ma queste soo questioi da risolvere i evetuali futuri corsi di statistica successivi a questo). Se duque usiamo ˆθ come stimatore di θ, il fatto che la sua distribuzioe sia cetrata sul valore vero del parametro θ idica che ˆθ è uo stimatore o distorto. Ioltre, il rapporto ˆθ( ˆθ) è ua stima della precisioe dello stimatore: come sempre, tale precisioe è tato maggiore quato più elevata è la dimesioe campioaria. C è tuttavia u importate differeza da osservare qui rispetto a quato discusso el caso della stima di medie. Metre ifatti la precisioe dello stimatore di ua media o dipede dal valore vero assuto dal parametro di iteresse, qui la precisioe varia al variare del valore assuto da θ. I particolare, ci si accorge che la fuzioe θ( θ) è ua fuzioe cocava che vale 0 quado θ = 0, e raggiuge il suo massimo quado θ = 0.5. Se e deduce che a parità di dimesioe campioaria e di livello di copertura otteremo itervalli di cofideza geeralmete più stretti quado θ si trova vicio agli estremi 0 e, e più larghi quado θ si trova i u itoro di 0.5. i= 8

9 Dal fatto che ˆθ N(θ, ˆθ( ˆθ)/), si deduce che ˆθ θ ˆθ( ˆθ) N(0, ). Per ogi valore di probabilità α, possiamo allora scrivere che P ( z α/ ˆθ θ ˆθ( ˆθ) z α/ ) = α dove z α/ è al solito il quatile della ormale di ordie α/. U itervallo di cofideza può allora essere costruito sulla base della seguete catea di uguagliaze: α = P ( z α/ ˆθ θ z α/ ) = α ˆθ( ˆθ) ˆθ( = P ( z ˆθ) α/ ˆθ ˆθ( θ z ˆθ) α/ ) ˆθ( = P ( ˆθ z ˆθ) ˆθ( α/ θ ˆθ + z ˆθ) α/ ) ˆθ( = P (ˆθ z ˆθ) α/ θ ˆθ ˆθ( + z ˆθ) α/ ) I altre parole, è approssimativamete uguale a α la probabilità che i due estremi dell itervallo ˆθ( ˆθ ˆθ) zα/, ˆθ ˆθ( + z ˆθ) α/ cotegao il valore vero della proporzioe θ della popolazioe. 5 Acora sulla determiazioe della dimesioe campioaria Il calcolo della dimesioe campioaria ottimale può essere compiuto ache quado l itervallo di cofideza è calcolato per ua proporzioe icogita θ. 9

10 Naturalmete, i questo caso la precisioe dello stimatore (e quidi l ampiezza dell itervallo) dipede dal valore assuto da θ, che è icogito. È duque ecessario usare come misura cautelativa la quatità θ( θ) = 0.5 = 0.5 e procedere sulle liee della sezioe dedicata alla dimesioe campioaria el calcolo di itervalli di cofideza per medie. Più precisamete, per ogi dimesioe l ampiezza dell itervallo (ad u prefissato livello α) raggiugerà al più il valore d = z α/ 0.5. Se duque desideriamo calcolare la dimesioe miima richiesta per avere u itervallo per θ che o superi l ampiezza massima d, dobbiamo cercare il miimo valore di tale che z α/ 0.5 d ovvero tale che o acora tale che 4zα/ 0.5 (d ) 4zα/ 0.5 ( (d ) = zα/ ) d La dimesioe ottimale è duque data da = ( zα/ Secodo tale formula, se ad esempio programmiamo u idagie d opiioe per stimare la proporzioe degli elettori di u collegio elettorale che voterao per u certo partito politico e desideriamo u itervallo di cofideza che al livello α = 0.95 o superi l ampiezza di puti percetuali (d = 0.0), avremo bisogo di u miimo di elettori da itervistare. (d ) ( ).96 = =

11 6 Ifereza sulla differeza tra medie Suppoiamo di aver a che fare co due campioi di osservazioi, diciamo (x...x ) e (y...y ), estratti idipedetemete da due popolazioi dove la stessa variabile quatitativa si distribuisce rispettivamete co medie µ e µ e co variaze e. Idichiamo ioltre, rispettivamete, co x e ȳ le due medie aritmetiche campioarie. Si desidera costruire u itervallo di cofideza al livello α per la differeza tra le medie µ µ. Si pesi all iterpretazioe di u itervallo di cofideza di questo tipo: se esso cotiee lo 0, diremo che le due medie o soo sigificativamete diverse tra loro al livello α, poichè o possiamo escludere che il valore vero del parametro d iteresse sia pari a µ µ = 0. Per la costruzioe dell itervallo i questioe (e sotto l ipotesi che i due campioi siao stati estratti idipedetemete l uo dall altro) possiamo distiguere i segueti casi: variaze uguali e ote: ( = = ) i questo caso, la variabile aleatoria ( x ȳ) (µ µ ) + si distribuisce come ua ormale stadardizzata e l itervallo di cofideza desiderato e dato da: x ȳ ± z α/ + variaze diverse e ote: ( ) i questo caso la variabile aleatoria x ȳ (µ µ ) + si distribuisce come ua ormale stadardizzata e l itervallo di cofideza desiderato e dato da: x ȳ ± z α/ + variaze uguali ma icogite: ( = = ) i questo caso, ua stima della variaza comue e data dalla cosiddetta variaza campioaria pooled ˆ i= = (x i x) + i= (y i ȳ) +

12 e si ha che la variabile aleatoria x ȳ (µ µ ) ˆ ( + ) si distribuisce come ua t di Studet co + gradi di liberta e l itervallo di cofideza desiderato e dato da: x ȳ ± t +,α/ˆ + Si osservi che o e stato cosiderato il caso di variaze diverse e icogite: la soluzioe di questo problema esula dal programma del corso. Per compredere l uso delle formule itrodotte, cosideriamo il seguete esempio umerico. Esempio Suppoiamo che siao stati estratti due campioi di studeti uiversitari, iscritti al secodo ao i due uiversità italiae, e di ogi studete è stata registrata la media dei voti coseguiti agli esami. Il primo campioe è costituito da = 50 studeti e ha forito ua media campioaria pari a x = 3.5, metre il secodo è costituito da = 00 studeti ed ha forito ua media campioaria pari a ȳ = 5.. Si desidera costruire u itervallo di cofideza al livello α = 0.95 per la differeza µ µ tra i voti medi riportati dagli studeti elle due uiversità. Le tre procedure più semplici che possiamo seguire fao riferimeto alle formule viste i precedeza. Variaze ote e uguali L ipotesi più semplice (ma ache la più rischiosa) cosiste ell assumere che il voto medio si distribuisca elle due uiversita co la stessa variaza che assumiamo ota: tale variaza potrebbe essere ad esempio quella pubblicata dall ufficio statistico del MIUR co riferimeto al voto medio degli studeti iscritti al secodo ao i tutti gli ateei italiai. Suppoiamo che tale variaza sia uguale a 6. Formalmete, stiamo assumedo che il voto medio degli studeti della prima uiversità sia ua variabile aleatoria che si distribuisce seguedo la ormale N(µ, ), metre il voto relativo agli iscritti ella secoda uiversità segua la ormale Y N(µ, ). L itervallo di cofideza cercato e dato allora da x ȳ±z α/ + = ± =.7±.36 ovvero ( 3.06, 0.34). Sulla base di questo risultato possiamo affermare (co u livello di fiducia del 95%) che gli studeti della prima

13 uiversità hao coseguito i media u voto medio al secodo ao iferiore a quello coseguito dagli iscritti alla secoda uiversità. Si osservi che, sulla base di tale itervallo che o comprede lo zero, si può affermare che i voti medi elle due uiversità soo sigificativamete differeti, al livello α. Variaze ote e diverse Se ivece gli uffici statistici delle due uiversità hao pubblicato recetemete (rispetto alla ostra aalisi) delle tabelle da cui si evice che le due popolazioi hao variaze diverse, possiamo decidere di cosiderare queste come ote. Suppoedo di avere = 6 e = 4, l itervallo di cofideza desiderato sara dato da x ȳ ± z α/ + 6 = ± =.7 ±.8 ovvero (.88, 0.5). variaze uguali ma icogite Se o reputiamo attedibili le statistiche del MIUR è quelle dei due ateei, o ci rimae altra scelta che assumere icogite le due variaze. Se ci soo iformazioi sufficieti per assumere che tuttavia i voti hao la stessa dispersioe elle due uiversità, possiamo usare la formula coteete la variaza pooled per l itervallo desiderato, se coosciamo le deviazioi stadard dei due campioi. Suppoedo che le segueti siao le devazioi stadard dei due campioi: (x i x) = 50/50 = i= (y i ȳ) 400/00 = i= allora la variaza pooled e data da ˆ = = 3.04 e possiamo calcolare gli estremi dell itervallo desiderato come segue: x ȳ±t +,α/ˆ + =.7 ± =.7±0.59 dato che, essedo + > 00, si ha t +,α/ z α/ 3

14 7 Differeza tra due proporzioi Suppoiamo di aver a che fare co due campioi idipedeti, diciamo (x...x ) e (y...y ), estratti rispettivamete da due popolazioi i cui ua stessa variabile dicotomica si distribuisce secodo le due tabelle: pop.e x 0 θ θ pop.e y 0 θ θ Idichiamo ioltre, rispettivamete, co ˆθ = x e ˆθ = ȳ le due frequeze relative campioarie. Si desidera costruire u itervallo di cofideza al livello α per la differeza tra le proporzioi θ θ. L importaza di u itervallo del geere è chiara: se l itervallo cotiee lo 0, diremo che le due proporzioi o soo sigificativamete diverse, al livello α. Il risultato che usiamo per costruire il ostro itervallo è il seguete. Sia ˆθ = ˆθ + ˆθ + allora ˆθ ˆθ ˆθ( ˆθ) ( ) + N(0, ). Si tratta al solito di u risultato approssimato, ma la qualità di tale risultato è sempre migliore ma mao che crescoo le dimesioi campioarie e. Da tale risultato, si deduce che u itervallo di cofideza per la differeza tra due proporzioi al livello α è dato dagli estremi ( ˆθ ˆθ z α/ ˆθ( ˆθ) + ) ( ˆθ ˆθ + z α/ ˆθ( ˆθ) + ) Suppoiamo ad esempio di aver effettuato due sodaggi di opiioe i date successive chiededo agli itervistati la prefereza per u determiato partito politico. I particolare, suppoiamo di aver itervistato 00 elettori durate il primo sodaggio e 00 elettori durate il secodo sodaggio, otteedo ua percetuale di elettori favorevoli del 40% el primo e del 4% el 4

15 secodo sodaggio. Ci chiediamo se tale icremeto di prefereze sia stato sigificativo al livello α = Si ottiee: ˆθ = ˆθ + ˆθ = = ( ˆθ( ˆθ) + ) ( = ) = Se e deduce che l itervallo di cofideza desiderato è dato da ( , ) = ( 0.38, 0.098) ovvero l aumeto osservato ei campioi o può essere cosiderato sigificativo, poichè l itervallo cotiee lo 0. 5