Theoritical Statistics Final term

Final term

1.

모수 $\theta$에 대한 서로 독립인 비편향 추정량 ${\hat{\theta }}_1$과 ${\hat{\theta }}_2$이 존재하며 $Var({\hat{\theta }}_i)={\sigma }_i^2,i=1,2$이라고 한다. 이를 이용하여 새로운 추정량 ${\hat{\theta }}_{a_1,a_2}=a_1{\hat{\theta }}_1+a_2{\hat{\theta }}_2$를 정의할 때 다음에 답하시오.

(a)

${\hat{\theta }}_{a_1,a_2}$이 비편향추정량이 될 $a_1$과 $a_2$의 조건을 구하시오

answer

비편향 추정량 ${\theta }_1$, ${\theta }_2$, $E({\hat{\theta }}_1)=\overline{\theta }$, $E({\hat{\theta }}_2)=\overline{\theta }$

$E({\hat{\theta }}_{a_1,a_2})=E(a_1{\hat{\theta }}_1+a_2{\hat{\theta }}_2)=a_{1}E({\hat{\theta }}_1)+a_{2}E({\hat{\theta }}_2)=a_1\overline{\theta }+a_2\overline{\theta }=\overline{\theta }(a_1+a_2)$

$\overline{\theta }=\overline{\theta }(a_1+a_2)$, 즉, $a_1+a_2=1$

(b)

비편향추정량인 ${\hat{\theta }}_{a_1,a_2}$ 중에서 가장 작은 분산을 가지는 추정량을 구하시오.

answer

$Var({\hat{\theta }}_1)={\sigma }_1^2$, $Var({\hat{\theta }}_2)={\sigma }_2^2$

$Var({\hat{\theta }}_{a_1,a_2})=Var((a_1+a_2)\overline{\theta })=(a_1+a_2{)}^{2}Var(\hat{\theta })$

$(a_1+a_2{)}^2$이 최소이면서 $a_1+a_2=1$일 때, 즉 $a_1=0.5,a_2=0.5$일 때 가장 작은 분산을 가진다.

2.

$X_1,X_2,\dots ,X_n$이 $Ber(p)$로부터의 랜덤표본이라고 하자. 모집단의 분포 $Ber(p)$의 분산인 $p(1-p)$을 추정하고자 한다.

(a)

$p(1-p)$에 대한 비편향추정량의 크래머-라오 하한값을 구하시오.

answer

bias = $E(\hat{p}(1-\hat{p}))-p(1-p)=0$

$E(\overline{X})=np$, $Var(\overline{X})=np(1-p)$

$E(\hat{p}(1-\hat{p}))=E(\frac{\overline{X}}{n}(1-\frac{\overline{X}}{n}))=E(\frac{\overline{X}}{n}-(\frac{\overline{X}}{n}{)}^2)=p-p^2$

$f(x)=p^x(1-p{)}^{1-x}$

$logf(x)=xlogp+(1-x)log(1-p)$

$\frac{\partial logf(x)}{\partial p}=\frac{x}{p}-\frac{1-x}{1-p}$

$\frac{{\partial }^{2}logf(x)}{{\partial }^{2}p}=-\frac{x}{p^2}-\frac{1-x}{(1-p{)}^2}$

$\star I(\theta )=E[(\frac{\partial }{\partial \theta }logf(C;\theta ){)}^2)]$

$I(p)=-E(-\frac{x}{p^2}-\frac{1-x}{(1-p{)}^2})=\frac{1}{p}+\frac{1}{1-p}=\frac{1}{p(1-p)}$

$CRLB=\frac{g^{\prime }(p{)}^2}{nI(p)}=\frac{(1-2p{)}^{2}p(1-p)}{n}$

$\star g(p)=p(1-p)$, $g^{\prime }(p)=1-2p$

(b)

$X_1(1-X_2)$의 기댓값을 구하시오.

answer

$E(X_1(1-X_2))=E(X_1-X_1{X}_2)=E(X_1)-E(X_1{X}_2)=E(X_1)-E(X_1)E(X_2)=p-p^2=p(1-p)$

(c)

$p(1-p)$에 대한 최소분산 비편향 추정량을 구하시오.

answer

$E({\overline{X}}_n(1-{\overline{X}}_n))=\frac{(n-1)p(1-p)}{n}$

$p(1-p)=\frac{n{\overline{X}}_n(1-{\overline{X}}_n)}{n-1}$

(d)

$p(1-p)$에 대한 적률추정량을 구하시오.

answer

$M_1=E(\overline{X})=p$

$M_2=Var(\overline{X})+E(\overline{X}{)}^2=p(1-p)+p^2=p$

$p(1-p)$의 적률추정량 $(p(1-p){)}^{MME}=M_2-M_1^2=p-p^2=p(1-p)$

(e)

$p(1-p)$에 대한 최대가능도추정량을 구하시오.

answer

$f(x)=p^x(1-p{)}^{1-x},x=0,1,0<p<1$

$L(p)=f(x_1|p)\dots f(x_n|p)=p^{x_1}(1-p{)}^{1-x_1}\dots p^{x_n}(1-p{)}^{1-x_n}=p^{\sum x_i}(1-p{)}^{n-\sum x_i}$

$l(p)=\sum x_{i}logp+(n-\sum x_i)log(1-p)$

$l^{\prime }(p)=\frac{\sum x_i}{p}-\frac{n-\sum x_i}{1-p}=0$

$\hat{p}=\frac{\sum x_i}{n}=\overline{X}$

$(\hat{p}(1-\hat{p}){)}^{MLE}=\overline{X}(1-\overline{X})$

3.

다음 분포를 따르는

$$f(x;\theta )=\theta exp(-\theta x)I(x>0)$$

모집단으로부터의 랜덤표본 $X_1,\dots ,X_n$을 이용하여 $\theta$에 대한 신뢰구간을 구하고, 다음 가설

$$H_0:\theta =2\text{ vs }{H}_1:\theta \ne 2$$

을 검정하고자 한다. 다음에 답하시오.

교수님 review

(a)

$\theta$에 대한 적절한 추축변량을 구하고, 해당 추축변량의 분포를 명시하시오.

answer

$X_i\sim exp(\frac{1}{\theta })$

$2X_i\theta \sim exp(2)$

$2n\overline{X}\theta \sim {\chi }^2(2n)$

참고

(b)

$\theta$에 대한 95%신뢰구간을 구하시오.

answer

$({\chi }_{0.025}^2(2n)\le 2n\overline{X}\theta \le {\chi }_{0.975}^2(2n))=0.95$

${\theta }_{0.95}\to (\frac{{\chi }_{0.025}^2(2n)}{2n\overline{X}},\frac{{\chi }_{0.975}^2(2n)}{2n\overline{X}})$

(c)

$P(X>1)$에 대한 95% 신뢰구간을 구하시오.

answer

$P(X>1)={\int }_1^{\mathrm{\infty }}\theta e^{-x\theta }dx=[e^{x\theta }{]}_1^{\mathrm{\infty }}=e^{-\theta }$

$P(X>1)$ $95$% CI : $(exp(\frac{{\chi }_{0.9755}^2(2n)}{2n\overline{X}},exp(\frac{{\chi }_{0.025}^2(2n)}{2n\overline{X}}))$

(d)

가설에서 고려하고 있는 $\theta$의 전체 모수공간 $\mathrm{\Omega }$와 귀무가설 하에서의 모수공간 ${\mathrm{\Omega }}_0$을 구하시오.

answer

$\mathrm{\Omega }=\{\theta :\theta >0\}$

${\mathrm{\Omega }}_0=\{\theta :\theta =2\}$

(e)

$\theta$의 가능도 함수를 기술하시오.

answer

$L(\theta )={\theta }^n{e}^{-\theta n\overline{X}}$

(f)

$\theta$의 $\mathrm{\Omega }$에서의 최대가능도 추정량과 ${\mathrm{\Omega }}_0$에서의 최대가능도 추정량을 구하시오.

answer

${\hat{\theta }}^{\mathrm{\Omega }}=\frac{1}{\overline{X}}$

${\hat{\theta }}^{{\mathrm{\Omega }}_0}=2$

(g)

일반화 가능도 비 $\mathrm{\Lambda }$을 구하시오.

answer

$\frac{L({\hat{\theta }}^{{\mathrm{\Omega }}_0})}{L({\hat{\theta }}^{\mathrm{\Omega }})}=\frac{{\hat{\theta }}^{n,{\mathrm{\Omega }}_0}{e}^{-\hat{\theta }n\overline{X}}}{{\hat{\theta }}^{n,\mathrm{\Omega }}{e}^{-\hat{\theta }n\overline{X}}}=(\frac{2}{n}{)}^2{e}^{n\overline{x}(\theta -2)}$

(h)

유의수준 $\alpha$인 가능도비 검정법의 기각역을 ${\chi }^2$분포의 분위수를 사용하여 표현하시오.

answer

7장 예제 7.2.3. 참고

$2(l({\hat{\theta }}^{\mathrm{\Omega }})-l({\hat{\theta }}^{{\mathrm{\Omega }}_0}))=2n(\overline{x}{\theta }_0-1-log(\overline{X}{\theta }_0))$

최대가능도비 검정의 기각역 형태 $2n(\overline{x}{\theta }_0-1-log(\overline{X}{\theta }_0))\ge c$

기각역

$\{\begin{array}{l}\overline{x}{\theta }_0\le c_1\text{ 또는 }\overline{x}{\theta }_0\ge c_2\\ c_{1}log{c}_1=c_2-log{c}_2\end{array}$

4.

확률밀도한수가

$$f(x;\theta )=\frac{1}{\theta }I(0\le x\le \theta )$$

인 분포로부터 하나의 관찰값 $X$를 얻었다. 이 때 가설

$$H_0:\theta =1\text{ vs }{H}_1:\theta =2$$

에 대한 기각역을 $C=\{x:x>0.8\}$로 했을 때 제1종오류를 범할 확률과 검정력을 계산하시오.

answer

$\alpha =P(\text{Reject }{H}_0|H_0\text{True})$

$\alpha =P(x>0.8|\theta =1)$

$={\int }_{0.8}^{1}1dx=[x{]}_{0.8}^1=1-0.8=0.2$

$\beta =P(\text{type 2 Error})=P(\text{Not Reject }{H}_0|H_0\text{ False})$

$P(x<0.8|\theta =2)$

$={\int }_0^{0.8}\frac{1}{2}dx=[\frac{1}{2}x{]}_0^{0.8}=\frac{0.8}{2}-\frac{0}{2}=\frac{0.8}{2}=0.4$

$\therefore$ 검정력 :$1-\beta =0.6$

5.

$X_1,\dots ,X_n$을 $N(0,{\sigma }^2)$으로부터의 랜덤표본이라고 하자

(a)

가설 $H_0:{\sigma }^2=4$ vs $H_1:{\sigma }^2=9$에 대한 최강력 검정의 기각역은

$$C=\{(x_1,\dots ,x_n):\sum _{i=1}^n{x}_i^2\ge c\}$$

의 꼴로 주어짐을 보이시오.

answer

$L({\sigma }^2)={\mathrm{\Pi }}_{i=1}^{n}f(x_2:{\sigma }^2)={\mathrm{\Pi }}_{i=1}^n\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{x_i^2}{2{\sigma }^2}}\ast \mu =0$

$=(\frac{1}{2\pi {\sigma }^2}{)}^{\frac{n}{2}}{e}^{-\frac{\sum _{i=1}^n{x}_i^2}{2{\sigma }^2}}$

네이만 피어슨 정의에 의하면, $LR=\frac{L(H_0)}{L(H_1)}=\frac{L(4)}{L(9)}\le k$

$LR=\frac{L(4)}{L(9)}=\frac{(\frac{1}{2\pi 4}{)}^{\frac{n}{2}}{e}^{-\frac{\sum _{i=1}^n{x}_i^2}{2\times 4}}}{(\frac{1}{2\pi 9}{)}^{\frac{n}{2}}{e}^{-\frac{\sum _{i=1}^n{x}_i^2}{2\times 9}}}$

$=(\frac{9}{4}{)}^{\frac{n}{2}}{e}^{-\sum _{i=1}^n{x}_i^2(\frac{1}{8}-\frac{1}{18})}$

$=(\frac{9}{4}{)}^{\frac{n}{2}}{e}^{-\frac{5}{72}\sum _{i=1}^n{x}_i^2}\le k$

$\to e^{-\frac{5}{72}\sum _{i=1}^n{x}_i^2}\le k$

$\to -\frac{5}{72}\sum _{i=1}^n{x}_i^2\le k$

$\to \sum _{i=1}^n{x}_i^2\ge k$

기각역: $\therefore c=\{(x_1,\dots ,x_n):\sum _{i=1}^n{x}_i^2\ge c)$

(b)

표본의 크기가 $n=20$일 때 유의수준이 $\alpha =0.05$이기 위한 상수 $c$의 값을 ${\chi }^2$분포의 분위수를 사용하여 표현하시오.

answer

$\alpha =P(\text{Reject }{H}_0|H_0\text{True})$

$=P(\sum _{i=1}^n{x}_i^2\ge k|{\sigma }^2=4)$

$=P(\sum _{i=1}^n\frac{{\chi }_i^2}{{\sigma }^2}\ge \frac{k}{{\sigma }^2}|{\sigma }^2=4)$

$=P(\sum _{i=1}^{20}\frac{{\chi }_i^2}{4}\ge \frac{k}{4}|{\sigma }^2=4)$

image.png

$\frac{k}{4}={\chi }_{0.05(20)}^2$

qchisq(0.95,20)

31.4104328442309

round(4*qchisq(0.95,20),2)

125.64

$k=4{\chi }_{0.05(20)}^2=125.64$

$c=\{(x_1,\dots ,x_n):\sum _{i=1}^n\ge 125.64\}$

(c)

표본의 크기가 $n=20$일 때 (b)에서 찾은 기각역에 대한 제2종오류를 범할 확률을 구하시오.

answer

$\beta =P(\text{Not Reject }{H}_0|H_1\text{True})$

$=P(\sum _{i=1}^n{x}_i^2\le k|{\sigma }^2=9)$

$\star$

모집단 분포 $X_i\sim N(0,{\sigma }^2)$

표준화 $\frac{X_i}{\sigma }\sim N(0,1)$

표분화 제곱 분포는 카이제곱 $(\frac{X_i^2}{\sigma }{)}^2\sim {\chi }_1^2,i=1,2,\dots ,n$

카이제곱의 합의 자유도 합 $\sum _{i=1}^n(\frac{X_i}{\sigma }{)}^2\sim {\chi }_{(n)}^2$

$\star$

$=P(\sum _{i=1}^n\frac{{\chi }_i^2}{{\sigma }^2}\le \frac{k}{{\sigma }^2}|{\sigma }^2=9)$

$=P(\sum _{i=1}^{20}\frac{{\chi }_i^2}{9}\le \frac{k}{9}|{\sigma }^2=9)$

$\frac{k}{9}={\chi }_{0.05(20)}^2$

qchisq(0.95,20)

31.4104328442309

round(9*qchisq(0.95,20),2)

282.69

$k=9{\chi }_{0.05(20)}^2=282.69$

$c=\{(x_1,\dots ,x_n):\sum _{i=1}^n\le 282.69\}$

랜덤표본$X_1,X_2,\dots ,X_n$의 분포가 확률밀도함수 $f(x;\theta ),\theta \in \mathrm{\Omega }$를 따른다고 하자. 이때 표본과 모수 $\theta$의 함수인 확률변량 $T(X_1,X_2,\dots ,X_n;\theta )$의 분포가 모수 $\theta$에 의존하지 않으면 이를 추축변량이라 한다.

6.

$X_1,X_2,\dots ,X_n$이 $N(\mu ,{\sigma }^2)$로부터 얻은 랜덤표본이라고 하자. 모평균 $\mu$가 알려져 있지 않은 경우 $H_0:{\sigma }^2=4$ vs $H_1:{\sigma }^2\ne 4$을 검정하고자 한다.

(a)

적절한 추축변량을 이용하여 ${\sigma }^2$에 대한 $100(1-\alpha )$ 신뢰구간을 구하시오.

answer

$\frac{\sum (X_i-\overline{X})2}{{\sigma }^2}=\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }_{(n-1)}^2$

$P[{\chi }_L\le \frac{(n-1)S^2}{{\sigma }^2}\le {\chi }_U]=1-\alpha$

$P[{\chi }_{\alpha /2}\le \frac{(n-1)S^2}{{\sigma }^2}\le {\chi }_{1-\alpha /2}]=1-\alpha$

$P[\frac{(n-1)S^2}{{\chi }_{1-\alpha /2}^2}\le {\sigma }^2\le \frac{(n-1)S^2}{{\chi }_{\alpha /2}^2}]=1-\alpha$

$\therefore (\frac{(n-1)S^2}{{\chi }_{\alpha /2}^2},\frac{(n-1)S^2}{{\chi }_{1-\alpha /2}^2})$

(b)

유의수준 $\alpha$인 일반화 가능도비 검정 기각역을 구하시오.

answer

모평균 $\mu$의 최대가능도 추정량은 가설에 관계없이 언제나 $\overline{X}$

모분산 ${\sigma }^2$의 최대가능도 추정량은 귀무가설 하에서는 $4$이며, 전체 모수공간$\mathrm{\Omega }$내에서는 ${\hat{\sigma }}^2=\frac{\sum _{i=1}^n(X-\overline{X}{)}^2}{n}$

일반화 가능도비 $\mathrm{\Lambda }(X_1,X_2,\dots ,X_n)=(\frac{\sum _{i=1}^n(X_i-{\overline{X}}_n{)}^2}{4n}{)}^{n/2}\times exp[-\frac{1}{2}\{\frac{\sum _{i=1}^n\{(X_i-{\overline{X}}_i)}{4}{\}}^2+\frac{n}{2}]$

$=(\frac{{\hat{\sigma }}^2}{4}{)}^{n/2}exp\{-(\frac{n}{2})(\frac{\widehat{{\sigma }^2}}{4})+\frac{n}{2}\}$

$\mathrm{\Lambda }={\frac{{\hat{\sigma }}^2}{4}}^{n/2}exp(-\frac{n}{2}\frac{{\hat{\sigma }}^2}{4}+\frac{n}{2})$

$\frac{{\hat{\sigma }}^2}{4}exp(-\frac{{\hat{\sigma }}^2}{4})\le ({\lambda }^{\ast }{)}^{2/n}exp(-1)=c^{\ast }$

$\frac{{\hat{\sigma }}^2}{4}<1$일 때는 단조증가, $\frac{{\hat{\sigma }}^2}{4}>1$일 때는 단조감소

기각영역 ; $C=\{(x_1,x_2,\dots ,x_n):(\frac{{\hat{\sigma }}^2}{4}\le a$ 또는 $\frac{{\hat{\sigma }}^2}{4}\ge b\}$

$n\frac{{\hat{\sigma }}^2}{4}=\frac{\sum _{i=1}^n(X_i-{\overline{X}}_n{)}^2}{4}\sim {\chi }^2(n-1)$

$P[\frac{\sum _{i=1}^n(X_i-{\overline{X}}_n{)}^2}{4}\le {\chi }_{1-\alpha /2}^2(n-1)|H_0]$

$=P[\frac{\sum _{i=1}^n(X_i-{\overline{X}}_n{)}^2}{4}\ge {\chi }_{\alpha /2}^2(n-1)|H_0]$

$=\frac{\alpha }{2}$

그러므로 카이제곱분포의 양쪽꼬리에서 $\alpha /2$씩 고려한 일반화 가능도비 검정법의 근사꼴로서 기각영역은

$\frac{\sum _{i=1}^n(X_i-{\overline{X}}_n{)}^2}{4}\le {\chi }_{1-\alpha /2}^2(n-1)$

또는 $\frac{\sum _{i=1}^n(X_i-{\overline{X}}_n{)}^2}{4}\ge {\chi }_{\alpha /2}^2(n-1)$

(c)

$n=10$이고 표본분산 $S^2$의 관측값은 $6$이라고 한다. (b)의 일반화 가능도비 검정법으로 유의확률 ($p-value$)을 구하시오.

answer

1-pchisq(6/4*9,9)

0.14125582649328