분산, 공분산, 상관관계, 기대값의 특성

기대값의 독립

1) 정의

    - X, Y가 독립일 때, 함수 h, g에 대해 아래가 성립한다.

$$E[g(X)h(Y)]=E[g(X)]E[h(Y)]$$

 

2) 증명

$$E[g(X)h(Y)] = \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x)h(y)f_{X,Y}(x,y)dxdy$$

$$= \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x)h(y)f_{X}(x)f_{Y}(y)dxdy$$

$$= \int_{-\infty}^{\infty}g(x)f_{X}(x)dx\int_{-\infty}^{\infty}h(y)f_{Y}(y)dy$$

$$= E[g(X)][h(Y)]$$

---

Covariance (공분산)

1) 정의

    - 두 확률 변수 간의 분산

$$Cov(X, Y) = E[(X - E[X])(Y-E[Y])]$$

$$=E[XY-XE[Y]-YE[X]+E[X]E[Y]]$$

$$=E[XY]-E[X]E[Y]-E[X]E[Y]+E[X]E[Y]$$

$$=E[XY]-E[X]E[Y]$$

 

2) 특성

$$1:\;\;Cov(X, Y) = Cov(Y, X)$$

$$2:\;\;Cov(X, X) = Var(X)$$

$$3:\;\;Cov(aX, Y) = aCov(X, Y)$$

$$4:\;\;Cov(\sum_{i=1}^{m}X_{i}\sum_{j=1}^{m}Y_{j}) = \sum_{i=1}^{n}\sum_{j=1}^{m}Cov(X_{i},Y_{j})$$

    - 확률변수 X, Y가 독립이면 Cov(X, Y) = 0 (단, 역이 항상 성립하는 것은 아니다.)

$$Var(\sum_{i=1}^{n}X_{i}) = \sum_{i=1}^{n}Var(X_{i})\;\;\;\;\;\;\; \sum_{i>j}Cov(X_{i},X_{j})=0 \;\;\;\forall i, j$$

 

Sample Variance

1) 정의

    - X1, ..., Xn이 독립이고 균일하게 분포된 확률변수이고 기대값과 분산이 같다. 이때, 표본의 평균은 합을 개수로 나눈 값이다. Deviation(편차)는 Xi - X평균이다.

$$S^{2} = \sum_{i=1}^{n}\frac{(X_{i}-\overline{X})^{2}}{n-1}$$

 

2) 특징

    - 샘플 분산의 기대값은 분산과 같다.

$$E[S^{2}] = \sigma^{2}$$

 

Correlation (상관계수)

1) 정의

    - scale하여 -1과 1 사이에 오도록 한다.

    - 두 확률변수 X, Y의 상관계수는 다음과 같이 정의한다.

$$\rho(X, Y) = \frac{Cov(X, Y)}{\sqrt{Var(X)Var(Y)}}\;\;\;\;\; -1\leq \rho(X, Y) \leq 1$$

 

2) 특징

    - rho가 0에 가까울수록 관계가 없다.

---

Moment Functions (적률함수)

1) 정의

    - 분포의 특성을 알려준다.

    - moment = r

$$E[X^{r}] = \sum_{x}X^{r}p(x) \;\;\;\;\; Discrete$$

$$E[X^{r}] = \int_{-\infty}^{\infty} X^{r}f(x)dx \;\;\;\;\; Continuous$$

 

2) 종류

moment (r)
1	$$E(X)$$	$$E(X)$$	기대값 (평균)
2	$$E(X^{2})$$	$$E[(X-\mu)^{2}]$$	분산
3	$$E(X^{3})$$	$$\frac{E[(X-\mu)^{3}]}{\sigma^{3}}$$	왜도 (Skewness)
4	$$E(X^{4})$$	$$\frac{E[(X-\mu)^{4}]}{\sigma^{4}}$$	첨도 (Kurtosis)

3) Moment Generating Functions (MGF; 모멘트를 생성하는 함수)

    - 하나의 MGF와 하나의 분포에 대응한다.

    - 만약 두 개의 확률변수가 같은 MGF를 가지고 있다면 분포는 같다.

    - MGF = 확률분포

$$M_{X}(t) = E[e^{tX}] = \sum_{x}e^{tx}p(x) \;\;\;\;\; Discrete$$

$$M_{X}(t) = E[e^{tX}] = \int_{-\infty}^{\infty}e^{tx}f(x)dx \;\;\;\;\; Continuous$$

 

4) MGF를 활용해 Moment (r) 구하는법

    - MGF를 미분하고 t = 0 하여 구한다.

    - 미분 횟수에 따라 각 r을 구할 수 있다. ex) 2번 미분 -> 분산

$$E[e^{tx}] = M_{X}(t)$$

$$M_{x}(t)' = \frac{d}{dt}E[e^{tx}] = E[\frac{d}{dt}e^{tx}] = E[X \cdot e^{tx}]$$

$$M_{x}(t=0)' = E[X]$$

---

고려대 김성범 교수님의 유튜브를 정리하였습니다.

www.youtube.com/channel/UCueLU1pCvFlM8Y8sth7a6RQ/videos