Appunti relativi a Lab4

Transcript

1 Appunti relativi a Lab4 ESEMPIO 1 Sia (X 1,, X n ) un campione aleatorio estratto da una variabile aleatoria X Exp(λ) e sia (x 1,, x n ) una sua realizzazione campionaria contenuta nel vettore oss > set.seed(5) > oss <-rexp(n=50,rate=0.5) 1. Test d ipotesi Voglio verificare il sistema d ipotesi H 0 : λ = λ 0 contro H 1 : λ λ 0 costruendo un test basato sul rapporto di verosimiglianza. La funzione di verosimiglianza L(λ) è data da L(λ) = λ n exp{ λ La funzione di log-verosimiglianza l(λ)è data da La SMV ˆλ del parametro λ è data da l(λ) = n log λ λ ˆλ = n n x i > logvexp <- function(lambda,sample){ + n <- length(sample) + somma <- sum(sample) + n*log(lambda)-lambda*somma} > smvlambda <- length(oss)/sum(oss) n x i } Creo una funzione che simula campioni da una distribuzione Exp(λ), calcola la stima di max veros, produce un istogramma e un grafico quantile-quantile per confrontare la distribuzione esatta della SMV di λ con la sua distribuzione asintotica. Gli argomenti della funzione mvsim sono lambda, vecn un vettore che contiene ampiezze campionarie diverse, nsim il numero di realizzazioni della SMV ˆλ che voglio simulare. Esamino il corpo della funzione 1 n x i

2 a) Partiziono la finestra in cui verrano posizionati i grafici in modo da avere vecn righe e 2 colonne. b) per i che varia in vecn cioè per ogni ampiezza campionaria vecn[i] fissata, costruisco la matrice dati di dimensione nsim vecn[i], riempiendola per colonne, di realizzazioni di una v.a. di legge Exp(λ). Quindi, per ogni ampiezza campionaria vecn[i] fissata, ho a disposizione nsim campioni di ampiezza vecn[i] estratti da una v.a. di legge Exp(λ) c) Calcolo la SMV di λ relativa ad ognuno degli nsim campioni. Quindi ho nsim realizzazioni della v.a. ˆλ, contenute nel vettore mv d) Rappresento graficamente la distribuzione di frequenze di mv, costruendo un istogramma che riporta sulle ordinate le densità di frequenza. e) Costruisco il Q-Q plot che confronta i quantili ˆq i empirici dei dati mv, con i quantili q i di una distribuzione N(λ, λ 2 /vecn[i]). Ricordo che la costruzione del Q-Q plot avviene in questo modo. Si ordinano i dati mv in ordine crescente. Dovrei a questo punto calcolare le frequenze cumulate 1/nsim,2/nsim,,1 e calcolare i quantili della distribuzione N(λ, λ 2 /vecn[i]) in corrispondenza a tali valori: q 1,, q sim tali che: 1/nsim=F (q 1 ),2/nsim=F (q 2 ),, 1 = F (q nsim ), dove F () è la funzione di ripartizione di una v.a. di legge N(λ, λ 2 /vecn[i]). Siccome q nsim tale che F (q nsim ) = 1 è q nsim =, allora si calcolano i quantili empirici corrispondenti ai valori 1/(nsim+1),2/(nsim+1),,nsim/(nsim+1), cioè si cercano q 1,, q sim tali che: 1/(nsim+1)=F (q 1 ),2/(nsim+1)=F (q 2 ),, nsim/(nsim+1)=f (q nsim ) j ˆq j =mv (j) j/(nsim+1) 1 ˆq 1 =mv (1) 1/(nsim+1) 2 ˆq 2 =mv (2) 2/(nsim+1)... nsim ˆq nsim =mv (nsim) nsim/(nsim+1) > mvsim <- function(vecn,nsim,lambda){ + par(mfrow=c(length(vecn),2),pty="s", mar=c(2,2,2,2)) + for(i in1:length(vecn)){ + dati <- matrix(rexp(vecn[i]*nsim,lambda), nrow=nsim) + mv <- 1/apply(dati,1,mean) + hist(mv, prob=t,main="",xlab="mle") + qqplot(mv,qnorm((1:nsim)/(nsim+1),lambda,lambda/sqrt(vecn[i])), + xlab="empirici",ylab="asintotici") + abline(0,1,col=2) + } + } > mvsim(c(5,10,25,1000),100,0.5) > par(mfrow=c(1,1)) 2

3 Test del rapporto di verosimiglianza esatto La statistica test del rapporto di verosimiglianza è data da ( ) L(λ 0 ) = λ n 0 x n n i exp{λ 0 x i + n} n Si vede chiaramente che la statistica test dipende dai dati solo attraverso T = n X i che sotto l ipotesi nulla ha distribuzione Γ(n, λ 0 ). La regione critica del test del rapporto di verosimglianza di livello α è data da { } { ( ) } L(λ 0 ) L(λ 0 ) k α = log k α dove log ( L(λ 0 ) ) = n log λ 0 + n log( n x i) n log n λ 0 n x i + n = = n log t λ 0 t + n + n log λ 0 n log n = f(t) Disegnamo il logaritmo della statistica del rapporto di verosimglianza come funzione di t = n x i (per λ 0 = 0.4, n = 50) > func <- function(t){ + n <- length(oss) + lambda0 < n*log(t)-lambda0*t+n+n*log(lambda0)-n*log(n)} > curve(func(x), 70, 200, xlab="t",ylab="logsrv") > abline(h=-2) Per identificare precisamente la regione di rifiuto dobbiamo individuare il valore k α tale che α sia il livello del test e rifiutare l ipotesi nulla quando t non appartiene all intervallo (t 1, t 2 ), associato a k α. Dobbiamo trovare le radici t 1 e t 2 dell equazione f(t) = k α, t.c. P λ=λ0 {t 1 < T < t 2 } = 1 α Ad esempio per α = 0.05 si ottiene k α = 1.93: > fesat <- function(t){ + n <- length(oss) + ca < lambda0 < n*log(t)-lambda0*t+n+n*log(lambda0)-n*log(n)-ca } > t1 <- uniroot(fesat,interval=c(70,140)) > t2 <- uniroot(fesat,interval=c(140,200)) > t1$root #[1] > t2$root #[1]

4 > prob <- pgamma(t2$root, 1, rate = 0.4, lower.tail = TRUE)- + pgamma(t1$root, 1, rate = 0.4, lower.tail = TRUE) > prob #[1] Quindi la regione critica del test è data da { ( ) } { = log { L(λ 0 ) 1.93 = 2(l(λ 0 ) l(ˆλ)) 3.86 l(λ 0 ) l(ˆλ) 1.93 } } = (i) Test del rapporto di verosimiglianza approssimato La statistica test W = 2(l(λ 0 ) l(ˆλ)) sotto l ipotesi nulla, per n grande, ha legge χ 2 (1). Possiamo allora prendere come regione critica del test {x : 2(l(λ 0 ) l(ˆλ)) χ 2 α(1)} dove χ 2 α(1) è il quantile di ordine 1 α di una χ 2 (1). Mi propongo ora di rispondere ai seguenti quesiti 1. Stabilire se al livello α = 0.05 l ipotesi nulla va rifiutata o meno. 2. Calcolare il livello di significatività osservato (p-value) 1. Calcolo χ (1): > alpha < > qchisq(1-alpha,1, lower.tail = TRUE) #[1] ##mi fornisce x tale che P[X <= x]=0.95 La regione critica del test di livello α = 0.05 è data da {x : 2(l(λ 0 ) l(ˆλ)) 3.841} Per rispondere al primo quesito devo calcolare il valore della statistica test in corrispondenza alla realizzazione campionaria osservata W oss > lambda0 <- 0.4 > logvhat <- logvexp(smvlambda,oss) > logv0 <- logvexp(lambda0,oss) > statwoss <- -2*(logv0-logvhat) > statwoss #[1] W oss < χ (1), quindi accetto H Per rispondere al secondo quesito devo calcolare p = P λ=λ0 {W W oss} 4

5 > pvalue <- 1- pchisq(statwoss,1) > pvalue #[1] Posso confrontare il p-value con ogni α fissato: α p rifiuto H 0, α < p accetto H 0. Quindi il p-value è il più piccolo livello del test a partire da cui rifiuto H Intervalli di confidenza Mi propongo di costruire un intervallo di confidenza di livello 1 α = 0.95 per il parametro λ. (i) Intervallo di confidenza esatto La regione di accettazione del test di livello α, basato sulla statistica logaritmo del rapporto di verosimiglianza, che verifica il sistema d ipotesi è data da Definisco Si ha e H 0 : λ = λ 0 contro H 1 : λ λ 0 { ( ) } L(λ 0 ) A(λ 0 ) = x : log > k α C(x) = {λ 0 : x A(λ 0 ), λ 0 R + \{0}} P λ0 {C(X) λ 0 } = P λ0 {X A(λ 0 )} λ 0 fissato P λ λ0 {C(X) λ 0 } = P λ λ0 {X A(λ 0 )} = minimo L intervallo di confidenza { ( ) } L(λ) C(x) = {λ : x A(λ), λ R + \{0}} = λ : log > k α, λ R + \{0} soddisfa il criterio di ottimalità di Neyman. In particolare per 1 α = 0.95, risulta { ( ) } L(λ) C(x) = λ : log > 1.93, λ R + \{0} Definisco log ( L(λ) ) = l(λ) l(ˆλ) come funzione di λ, calcolo i valori assunti da tale funzione in corrispondenza a un vettore numerico di valori del parametro in ascissa e rappresento graficamente la funzione. > alpha < > statlrv <- function(lambda,smv,sample){ + logvexp(lambda,sample)-logvexp(smv,sample)} > veclambda <- seq(0.1,1.2,length=50) 5

6 > statlrv1 <- statlrv(veclambda,smvlambda,oss) > plot(veclambda,statlrv1,type="l", xlab="lambda") > ca < > abline(h=ca) L intervallo di confidenza C(x) è dato (λ 1,0.05, λ 2,0.05 ), dove λ 1,0.05, λ 2,0.05 si possono determinare numericamente come soluzioni dell equazione l(λ) l(ˆλ) = 0 > f1 <- function(lambda,smv,sample){ + ca < statlrv(lambda,smv,sample)-ca } > inf <- uniroot(f1,smv=smvlambda,sample=oss, interval=c(0.2,0.6)) > sup <- uniroot(f1, smv=smvlambda,sample=oss, interval=c(0.6,1.0)) > int1 <- c(inf$root, sup$root) > int1 #( , ) (ii) Intervalli di confidenza approssimati Intervallo di confidenza basato sulla distribuzione asintotica di W La regione di accettazione del test di livello α, basato sulla statistica W, che verifica il sistema d ipotesi è data da Definisco Si ha e L intervallo di confidenza H 0 : λ = λ 0 contro H 1 : λ λ 0 A(λ 0 ) = {x : 2(l(λ 0 ) l(ˆλ)) < χ 2 α(1)} C(x) = {λ 0 : x A(λ 0 ), λ 0 R + \{0}} P λ0 {C(X) λ 0 } = P λ0 {X A(λ 0 )} λ 0 fissato P λ λ0 {C(X) λ 0 } = P λ λ0 {X A(λ 0 )} = minimo C(x) = {λ : x A(λ), λ R + \{0}} = {λ : 2(l(λ) l(ˆλ)) < χ 2 α(1), λ R + \{0}} soddisfa il criterio di ottimalità di Neyman. Definisco 2(l(λ) l(ˆλ)) come funzione di λ (statw), calcolo i valori assunti da tale funzione in corrispondenza a un vettore numerico di valori del parametro in ascissa e rappresento graficamente la funzione. > alpha < > statw <- function(lambda,smv,sample){ -2*(logvexp(lambda,sample)-logvexp(smv,sample)) } > veclambda <- seq(0.01,1.5,length=50) > statw1 <- statw(veclambda,smvlambda,oss) 6

7 Rappresento sullo stesso grafico la retta parallela all asse delle ascisse y = χ 2 α(1). > plot(veclambda,statw1,type="l", xlab="lambda") > ca <- qchisq(1-alpha,1) > abline(h=ca)) L intervallo di confidenza C(x) è dato (λ 1,α, λ 2,α ), dove λ 1,α, λ 2,α si possono determinare numericamente come soluzioni dell equazione 2(l(λ) l(ˆλ)) χ 2 α(1) = 0 > f2 <- function(lambda,smv,sample){ + ca <- qchisq(0.95,1) + statw(lambda,smv,sample)-ca } > inf <- uniroot(f2, smv=smvlambda, sample=oss, interval=c(0.01,0.5)) > sup <- uniroot(f2, smv=smvlambda, sample=oss, interval=c(0.5,1.0)) > int2 <- c(inf$root, sup$root) > int2 #( , ) Intervallo di confidenza basato sulla distribuzione asintotica di ˆλ Si verifica che (ˆλ λ) N(0, I(λ) 1 ) in legge dove I(λ) = n. Quindi λ 2 { P z α/2 < ˆλ } λ I(λ) < z 1/2 α/2 1 α quando n diverge, dove z α/2 è il quantile di ordine 1 α/2 di una N(0, 1). La deviazione standard asintotica di ˆλ è data da s.e.(λ) = I(λ) 1/2 = λ n Se usiamo I(ˆλ) come stima di I(λ) l intervallo di confidenza associato di livello approssimato 1 α è dato da (ˆλ z α/2 I(ˆλ) 1/2, ˆλ + z α/2 I(ˆλ) 1/2 ) Rappresento dapprima graficamente l intervallo di confidenza. Definisco ˆλ λ I(λ) 1/2 = ˆλ λ s.e.(ˆλ) come funzione di λ (statnorm), calcolo i valori assunti da tale funzione in corrispondenza a un vettore numerico di valori del parametro in ascissa e rappresento sullo stesso grafico la funzione e le rette y = z α/2 e y = z α/2. 7

8 > se.lambda <- smvlambda/sqrt(length(oss)) > statnorm <- function(lambda,smv, sample){ + n <- length(sample) + (smvlambda-lambda)/ se.lambda } > lambda <- seq(0.01,1.5,length=50) > statnorm1 <- statnorm(lambda,smvlambda,oss) > plot(lambda,statnorm1,type="l") > qz <- qnorm(1-alpha/2) > abline(h=qz) > abline(h=-qz) Determino quindi gli estremi dell intervallo di confidenza. > int3 <- c(smvlambda-qz*se.lambda, smvlambda+qz*se.lambda) > int3 #( , ) (iii) Livelli di copertura empirici (simulazione) Si può verificare il livello di copertura degli intervalli di confidenza empiricamente attraverso uno studio di simulazione: si generano nsim campioni da una distribuzione esponenziale di parametro λ fissato si calcolano i relativi intervalli di confidenza di livello 1 α si conta quanti intervalli contengono il valore λ fissato se il metodo è accurato, questo dovrebbe succedere l (1 α)% delle volte Gli argomenti della funzione exp.sim sono lambda, nsim il numero di campioni che genero da una distribuzione Exp(λ), n l ampiezza campionaria e conf.level il livello di confidenza. Esamino il corpo della funzione a) costruisco la matrice exp.dati di dimensione nsim n, riempiendola per righe, di realizzazioni di una v.a. di legge Exp(λ). Quindi ho a disposizione nsim campioni di ampiezza n generati da una v.a. di legge Exp(λ) c) Calcolo la SMV ˆλ di λ relativa ad ognuno degli nsim campioni. Il vettore vecsmv.lambda che contiene le SMV di λ d) Calcolo il vettore vecse.lambda che contiene le stime s.e.(ˆλ) della deviazione standard asintotica di ˆλ. e) Costruisco fnorm ˆλ λ I(ˆλ) = ˆλ λ 1/2 s.e.(ˆλ) f) Costruisco fw 2(l(λ) l(ˆλ)) g) Conto quante volte z α/2 < ˆλ λ < z s.e.(ˆλ) α/2 e divido questo numero per nsim. Si tratta del livello di copertura empirica dell intervallo di confidenza basato sulla distribuzione asintotica di λ h) Conto quante volte 2(l(λ) l(ˆλ)) < χ 2 α(1) e divido questo numero per nsim. Si tratta del livello di copertura empirica dell intervallo di confidenza basato sulla distribuzione asintotica di W 8

9 > exp.sim <-function(n,lambda,nsim,conf.level){ + exp.dati <- matrix(rexp(n*nsim,lambda), nrow=nsim, byrow=t) + vecsmv.lambda <- 1/apply(exp.dati,1,mean) + vecse.lambda <- vecsmv.lambda/sqrt(n) + fnorm <- (vecsmv.lambda-lambda)/vecse.lambda + fw <- apply(exp.dati,1, function(x) + -2*(logvexp(lambda,x)-logvexp(1/mean(x),x))) + fnorm.coverage <- mean((fnorm<qnorm(1-(1-conf.level)/2)) + &(fnorm>-qnorm(1-(1-conf.level)/2))) + fw.coverage <- mean((fw < qchisq(conf.level,1))) + out <- c(conf.level,fnorm.coverage,fw.coverage) + names(out) <- c("nominal", "norm", "w") + out} > exp.sim(n=10, lambda=0.5, nsim=10000,conf.level=0.95) 9

10 ESEMPIO 2 Sia (X 1,, X n ) un campione aleatorio estratto da una variabile aleatoria di legge X W ei(γ, λ). La funzione di densità di X è data da f(x; γ, λ) = λγ(λx) γ 1 e (λx)γ x > 0; γ > 0; λ > 0 Sia (x 1,, x n ) una realizzazione campionaria, contenuta nel vettore oss. > set.seed(3) > oss <- rweibull(n=20,shape=2,scale=1) #scale=1/lambda La funzione di verosimiglianza L(γ, λ) è data da L(γ, λ) = λ n γ n λ n(γ 1) ( n x γ 1 i La funzione di log-verosimiglianza l(γ, λ) è data da ) e λγ n xγ i l(γ, λ) = n log γ + nγ log λ + γ n log x i λ γ n n x γ i log x i γ parametro di interesse, λ parametro di disturbo (i) Test d ipotesi Voglio verificare il sistema d ipotesi H 0 : γ = γ 0 contro H 1 : γ γ 0 costruendo un test basato sul rapporto di verosimiglianza. Determino la funzione di log-verosimiglianza profilo per γ l P (γ) = l(γ, ˆλ γ ) dove ˆλ γ è la s.m.v di λ per γ fissato. ˆλ γ è soluzione dell equazione di verosimiglianza parziale l(γ, λ) = 0 λ ed è data da ( ˆλ γ = ) 1/γ n n xγ i Sostituendo l espressione di ˆλ γ in l(γ, ˆλ γ ) si ottiene la log-verosimiglianza profilo per γ, che è data da n n l P (γ) = n log( x γ i ) + n log γ + γ log x i + n log n n n log x i 10

11 Costruisco la statistica W P W P = 2(l P (γ 0 ) l P (ˆγ)) = 2(l(γ 0, ˆλ γ0 ) l(ˆγ, ˆλ)) che, sotto l ipotesi nulla, si distribuisce asintoticamente come una χ 2 (1). La regione critica del test del rapporto di verosimiglianza approssimato è data da {x : W P χ 2 α(1)} dove χ 2 α(1) è il quantile di ordine 1 α di una χ 2 (1). Fisso α = 0.05 e calcolo χ 2 α(1) > alpha < > ca <- qchisq(1-alpha,1, lower.tail = TRUE) > ca # [1] La regione critica diventa {x : W P 3.84} Fissato γ 0 = 2, si tratta di calcolare W P,oss = 2(l P (γ 0 ) l P (ˆγ)) e confrontare il valore ottenuto con χ (1) = 3.84 Definisco e rappresento graficamente la funzione l P (γ), quindi calcolo l P (γ 0 ) (logvp0): > logvp.wei <- function(gamma, sample){ + n <- length(sample) + sommalog <- sum(log(sample)) +logsomma<-log(sum(sample^gamma)) +-n*logsomma+n*log(gamma)+gamma*sommalog-sommalog+n*log(n)-n} > vecgamma <- seq(1,4,length=50) > logvp.wei1 <- sapply(vecgamma,logvp.wei,sample=oss) > plot(vecgamma, logvp.wei1, type="l", + xlab="gamma", ylab="log-veros profilo") > gamma0 <- 2 > logvp0 <- logvp.wei(gamma0,oss) Devo ora calcolare l(ˆγ, ˆλ), dove (ˆγ, ˆλ) è la s.m.v. di (γ, λ). Definisco la funzione l(γ, λ), la massimizzo utilizzando optim( ) e calcolo l(ˆγ, ˆλ) = l P (ˆγ) (logvphat): > logv.wei <- function(gamma,lambda, sample){ + n <- length(sample) + sommalog <- sum(log(sample)) + somma<-sum(sample^gamma) +n*gamma*log(lambda)+n*log(gamma)+gamma*sommalog-(lambda^gamma)*somma + -sommalog} > init <- c(1.5,1.5) > menologv1.wei <- function(par, sample){ + -logv.wei(par[1],par[2], sample)} > smv.wei <- optim(init, menologv1.wei, sample=oss, + method = "L-BFGS-B",lower=rep(0.01,2), upper=rep(inf,2)) > smv.wei$par #[1]

12 > logvphat <- logv.wei (smv.wei$par[1],smv.wei$par[2],oss) + # oppure logvphat <- logvp.wei (smv.wei$par[1],oss) Calcolo il valore osservato della statistica W P : > statwposs <- -2*(logvp0-logvphat) > statwposs #[1] Si ha W P,oss < 3.84, non cado nella regione di rifiuto, quindi accetto H 0. Calcolo ora il p-value del test > pvalue <- 1-pchisq(statwposs,1) > pvalue #[1] α rifiuto H 0, α < accetto H 0. (ii) Intervallo di confidenza Fisso 1 α = L intervallo di confidenza C(x) = {γ : 2(l P (γ) l P (ˆγ)) < χ 2 α(1), λ R + \{0}} soddisfa il criterio di ottimalità di Neyman. Definisco 2(l P (γ) l P (ˆγ)) come funzione di λ, calcolo i valori assunti da tale funzione in corrispondenza a un vettore numerico di valori del parametro in ascissa e rappresento graficamente la funzione. Rappresento sullo stesso grafico la retta parallela all asse delle ascisse y = χ 2 α(1). L intervallo di confidenza C(x) è dato (λ 1,α, λ 2,α ), dove λ 1,α, λ 2,α si possono determinare numericamente come soluzioni dell equazione 2(l P (γ) l P (ˆγ)) χ 2 α(1) = 0 > alpha < > statwp <- function(gamma,smv,sample){ + -2*(logvp.wei(gamma,sample)-logvp.wei(smv,sample)) + } > vecgamma <- seq(0.5,5,length=50) > statwp1 <- numeric(50) > for(i in 1:50){ + statwp1[i] <- statwp(vecgamma[i],smv.wei$par[1],oss)} > plot(vecgamma,statwp1,type="l", xlab="gamma") > ca <-qchisq(1-alpha,1) > abline(h=ca) > f <- function(gamma,smv,sample){ + ca <- qchisq(0.95,1) + -2*(logvp.wei(gamma,sample)-logvp.wei(smv,sample))-ca} > inf <- uniroot(f, smv=smv.wei$par[1],sample=oss, interval=c(1.5,2.3)) > sup <- uniroot(f,smv=smv.wei$par[1],sample=oss, interval=c(3.5,4)) > int <- c(inf$root, sup$root) > int #[1]