Theoritical Statistics HW2

Theoritical Statistics
Author

SEOYEON CHOI

Published

January 6, 2023

기댓값

수업 과제 1.

평균이 0이고, 표준편차가 1인 변수로 변환

\[Z = \frac{X-\mu_X}{\sigma_X}\]

Answer

\(E(\frac{X-\mu_X}{\sigma_X}) = E(\frac{X}{\sigma_X}) - E(\frac{\mu_X}{\sigma_X}) = \frac{\mu_X}{\sigma_X} - \frac{\mu_X}{\sigma_X} = 0\)

\(Var(\frac{X-\mu_X}{\sigma_X}) = E((\frac{X-\mu_X}{\sigma_X})^2) - (E(\frac{X-\mu_X}{\sigma_X}))^2\)

\(= E(\frac{X^2 + \mu X^2 - 2\mu_X X}{\sigma^2_X})= \frac{E(X^2) + \mu^2_X - 2\mu^2_X}{\sigma^2_X}\)

\(= \frac{E(X^2) - \mu_X^2}{\sigma_X^2} = \frac{\sigma_X^2}{\sigma^2_X} = 1\)

수업 과제 2.

\(Cov(X,Y) = E((X-\mu_X)(Y - \mu_Y)) = E(XY) - E(X)E(Y)\) 를 증명하라.

Answer

\(E(XY - X\mu_Y - Y\mu_X + \mu_X\mu_Y)\)

\(= E(XY) - \mu_YE(X) - \mu_XE(Y) + \mu_x \mu_Y\)

\(= E(XY) - E(X)E(Y) - E(X)E(Y) + E(X)E(Y)\)

\(= E(XY) - E(X)E(Y)\)

수업 과제 3.

Answer

\(E(Y|X=x) = \int^{\infty}_{-\infty} y f_{Y|X}(y|x) dy = \int^{\infty}_{-\infty} y\frac{f(X,Y)}{f_X(X)} dy\)

\(= \int^{\infty}_{-\infty} y \frac{f(X)f(Y)}{f_X(X)} dy = \int^{\infty}_{-\infty} y f(Y) dy = E(Y)\)

2.28.

확률변수 \(X_i\) 의 기댓값이 \(\lambda\)라고 할 때(\(i = 1, \dots , n),E(\sum^n_{i=1} a_i X_i) = \lambda\)가 되기 위한 \(a_i\)의 조건은 무엇인가?

Answer

\(E(X_i) = \lambda(i=a,\dots,n)\)

\(E(\sum^n_{i=1} a_i X_i) = E(a_1 X_1 + a_2 X_2 + \dots + a_n X_n)\)

\(a_1 E(X_1) + a_2E(X_2) + \dots + a_n E(X_n) = \lambda(a_1 + \dots + a_n)\)

\(\lambda = \lambda(a_1 + \dots + a_n)\)

\(\therefore \sum^n_{i=1} a_i = 1\)

2.38

임의의 독립인 확률변수 \(X, Y\)에 대하여

\[Cov(X+Y,X-Y) = Var(X) - Var(Y)\]

가 성립됨을 보여라.

Answer

\(Cov(X+Y,X-Y) = E((X+Y)(X-Y)) - E(X+Y)E(X-Y)\)

\(\star Var(X) = E(X^2) - E(X)^2\)

\(\star Var(Y) = E(Y^2) - E(Y)^2\)

\(= E(X^2 - Y^2) - (E(X) + E(Y))(E(X)-E(Y))\)

\(= E(X^2) - E(Y^2) - E(X)^2 + E(Y)^2\)

\(= \{ E(X^2) - E(X)^2 \} - \{ E(Y^2) - E(Y)^2 \}\)

\(= Var(X) - Var(Y)\)

2.40

확률변수 \(X\)\(Y\)의 결합확률밀도함수가

\[f(x,y) = \begin{cases} 4I & 0<x<1,1<y<2x \text{인 경우} \\ 0 & \text{그 외의 경우} \end{cases}\]

라고 하자. 이때

(1)

\(x\)에 대한 \(Y\)의 조건부 기댓값 \(E(Y|x)\)를 구하라.

Answer

\(E(Y|x) = \int^\infty_{-\infty} y f_{Y|X} (y) dy = \int^\infty_{-\infty} y \frac{f(X,y)}{f_X(X)}dy\)

\(\star\)

\(f_X(X) = \int f(x,y) dy = \int^\infty_{-\infty} 4I(0<x<1,1<y<2x)dy\)

\(= 4I(0<x<1)\int_{-\infty < y < \infty , 1<y<2x} I(1<y<2x)dy\)

\(= 4I(0<x<1)\int^{2x}_1 a dy = 4I(0<x<1)[y]^{2x}_1\)

\(= 4(2x-1)I(0<x<1)\)

\(\star\)

\(= \int^\infty_{-\infty} y \frac{4I(0<x<1,1<y<2x)}{4(2x-1)I(0<x<1)} dy\)

\(= \int_{-\infty < y< \infty, 1<y<2x} y \frac{I(0<x<1)}{2x-1} dy = \frac{I(0<x<1)}{2x-1} \int^{2x}_1 y dy\)

\(= \frac{I(0,x<1)}{2x-1} [\frac{1}{2} y^2]^{2x}_1\)

\(= \frac{I(0<x<1)}{2x-1}(\frac{1}{2}(4x^2-1))\)

\(\star 4x^2 - 1 = (2x+1)(2x-1)\)

\(= \frac{2x+1}{2}I(0<x<1)\)

(2)

\(y\)에 대한 \(X\)의 조건부 기댓값 \(E(X|y)\)를 구하라.

Answer

\(E(X|Y=y) = \int^\infty_{-\infty} x f_{X|Y}(x|y) dx = \int^\infty_{-\infty} x\frac{f(x,y}{f(y)} dx\)

\(\star\)

\(f_Y(Y) = \int^\infty_{-\infty} f(x,y) dy = \int^\infty_{-\infty} 4I(0<x<1,1<y<2x) dx\)

\(= 4\int_{-\infty <x<\infty, 0<x<1, 1<y<2x} 1 dx = \int^1_{\frac{y}{2}} 4I(1<y<2) dx [4x]^1_{\frac{y}{2}}\)

\(= (4-2y)I(1<y<2)\)

\(\star\)

\(= \int^\infty_{-\infty} x \frac{4I(0<x<1,1<y<2x)}{(4-2y)I(1<y<2)} dx\)

\(= \frac{4}{4-2y} \int_{-\infty x<\infty, 0<x<1,1<y<2x,1<y<2} x dx = \frac{4}{4-2y} \int^1_{\frac{y}{2}} xI(1<y<2) dx\)

\(= \frac{4}{4-2y}[\frac{1}{2}x^2]^1_{\frac{y}{2}} = \frac{4}{4-2y} (\frac{1}{2} - \frac{y^2}{8})\)

\(= \frac{4}{2(2-y)}(\frac{4-y^2}{8})\)

\(\star 4-y^2 = (2+y)(2-y)\)

\(= 4(2+y)I(1<y<2)\)

(3)

\(x\)에 관한 \(Y\)의 조건부 분산 \(E[Y - E(Y|x)|x]^2\)을 구하라.

Answer

\(E[(Y - E(Y|X=x))^2|X=x] = E(Y^2|X=x) - \{ E(Y|X=x) \}^2\)

\(\star\)

\(E(Y^2|X=x) = \int Y^2 f_{Y|X}(y) dy = \int^\infty_{-\infty} y^2 \frac{f(x,y)}{f_X(X)}dy\)

\(= \int^\infty_{-\infty} y^2 \frac{4I(0<x<1,1<y<2x)}{4(2x-1)I(0<x<1)} dy\)

\(= \frac{1}{2x-1} I(0<x<0 \int_{-\infty < y<\infty, 1<y<2x} y^2 dy\)

\(= \frac{1}{2x-1} I(0<x<1)\int^{2x}_1 y^2 dy\)

\(= \frac{1}{2x-1}I(0<x<1) [\frac{1}{3} y^2]^{2x}_1\)

\(= \frac{1}{2x-1} I (0<x<1)\frac{1}{3}(8x^3-1)\)

\(= \frac{4x^2 + 2x+1}{3} I(0<x<1)\)

\(\star\)

\(= (\frac{4x^2 + 2x + 1}{3} - \frac{(2x+ 1)^2}{2^2}) I(0<x<1)\)

\(\frac{(2x-1)^2}{12}I(0<x<1)\)

2.41

확률변수 \(X\)의 확률밀도함수가

\[f(x) = \begin{cases} \frac{1}{18} , & x=1,3\text{인 경우} \\ \frac{16}{18}, & x=2\text{인 경우} \end{cases}\]

로 주어졌을때, \(P(|X-E(X)|\ge \delta ) = Var(X)\delta^2\)을 만족하는 \(\delta\)를 찾아라.

Answer

\(P(X-E(X)|\ge \delta) \le \frac{var(X)}{\delta^2}\)

\(E(X) = 1 \times \frac{1}{18} + 2 \times \frac{16}{18} + 3 \times \frac{1}{18} = \frac{36}{18} = 2\)

\(var(X) = E(X-E(X)^2) = (1-2)^2\times \frac{1}{18} + (2-2)^2 \times \frac{16}{18} + (3-2)^2 \times \frac{1}{18} = \frac{1}{9}\)

\(P(|X-2| \ge \delta) = \frac{1}{9 \delta}\)

\(\star\)

\(x - 2 \ge \delta\)

\(x-2 \le -\delta\)

\(\delta = 1\)

\(\star\)

\(P(X \ge 3) + P(X \le 1) = \frac{1}{9}\)

마코프 확률부등식에 따라

\(\frac{1}{\delta} = \frac{var(X)}{\delta^2}\)

\(\delta = var(X)\)

\(\therefore \delta = \frac{1}{9}\)

2.60

확률밀도함수가 \(f_X(x) = \frac{1}{2},-1<x<1\)인 확률변수의 적률생성함수를 계산하라.

Answer

\(M_X(t) = E(e^{tx})\)

\(= \int^{\infty}_{-\infty} e^{tx} f_X(x) dx\)

\(= \int^{\infty}_{-\infty} e^{tx} \frac{1}{2} I (-1<x<1) dx\)

\(= \int^1_{-1} e^{tx}\frac{1}{2} dx\)

\(= \frac{1}{2} [\frac{1}{t} e^{tx}]^1_{-1}\)

\(= \frac{1}{2} (\frac{1}{t} e^t - \frac{1}{t} e^{-t})\)

\(\star M_X^{'} (t) = \frac{-(e^t - e^{-t})}{2t^2} + \frac{e^t + e^{-t}}{2t}\)

2.64

확률변수들 \(X_i(1,2,\dots,n)\)는 서로 독립이며, ’성공’일 확률이 \(p\)인 베르누이 분포를 따른다고 하자.

\(\star\)

\(f(x) = p^x(1-p)^{1-x}, x=0,1\)

\(X = 1 \to f(0) = 1-p\)

\(X = 0 \to f(1) = p\)

(1)

확률변수들 \(X_i\)의 적률생성함수를 구하라.

Answer

\(M_X(t) = E(e^{tx})\)

\(\sum^1_{x=0}e^{tx}f(x) = e^0 f(0) + e^tf(1) = 1-p+e^tp\)

(2)

(1)의 결과를 이용하여 확률변수 \(X_i\)의 분산을 구하라.

Answer

\(M_X^{'} (t) = e^tp \to M_X^{'}(0) = p\)

\(M_X^{''} (t) = e^tp \to M_X^{''}(0) = p\)

\(var(X_i) = E(X^2) - (E(X))^2\)

\(= M_X^{''}(0) - \{ M_X^{'}(0)\}^2\)

\(= p - p^2\)

\(= p(1-p)\)

(3)

(1)의 결과를 이용하여 확률변수 \(\sum^n_{i=1} X_i\)의 적률생성함수를 구하라.

Answer

\(M_{\sum^n_{i=1} X_i}(t) = E(e^{t\sum^n_{i=1} X_i})\)

\(= E(e^{tX_1 + tX_2 + \dots + tX_n})\)

\(= E(e^{tX_1} e^{tX_2} \dots e^{tX_n})\)

\(= E(e^{tx})E(e^{tX_2})\dots E(e^{tX_n})\)

\(= M_{X_1}(t) M_{X_2}(t) \dots M_{X_n}(t)\)

\(= (1-p+pe^t)^n \to\) 이항분포의 적률생성함수

2.66

확률변수 \(X\)의 적률생성함수가 \(M_X(t) = \frac{1}{9}e^t + \frac{1}{3}e^{3t} + \frac{5}{9}e^{5t}\)로 주어졌을 떄,

\(\star\)

  • 이산형

(1)

\(P(X = 3)\)을 계산하라.

Answer

\(P(X=1) = \frac{1}{9}\)

\(P(X=3) = \frac{3}{9}\)

\(P(X=5) = \frac{5}{9}\)

(2)

\(X\)의 확륢밀도함수를 구하라.

Answer

\(M_X(t) = E(e^{tx}) = \sum^n_{i=1} e^{tx} f(x) = \frac{1}{9}e^t + \frac{3}{9} e^{3t} + \frac{5}{9} e^{5t}\)

\(\therefore f(x) = \frac{x}{9}\)