Joint Probability Distribution (결합확률분포), Convolution

Joint probability distribution (결합확률분포)

1) 정의

    - 두 개 이상의 확률 변수를 고려한다.

$$f_{xy}(x, y) = P[X=x, Y=y]$$

    - Joint pmf

$$p_{xy}(x, y)= P[X=x,Y=y]$$

$$0\leq p_{xy}(x, y) \leq 1 \;\; for \; all \; x \; and \; y$$

$$\Sigma_{x}\Sigma_{y}p_{xy}(x, y) = 1$$

    - joint pdf

$$f_{XY}(x, y) \geq 0 \;\;\; for \; all \; x \; and \; y$$

$$P[(X,Y) \in A] = \int \int_{A} f_{XY}(x, y)dxdy$$

$$\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} f_{XY}(x,y)dxdy=1$$

    - joint cdf

$$F_{xy}(a, b) = P(X \leq a, Y \leq b)$$

    - X, Y are 이산형 확률 변수일 때, joint pmf

$$P(a \leq X \leq b, c \leq Y \leq d) = \sum_{a\leq x \leq b} \sum_{c \leq y \leq d} p_{XY}(x, y)$$

    - X, Y are 연속형 확률 변수일 때, joint pdf

$$P(a \leq X \leq b, c \leq Y \leq d) = \int_{a}^{b} \int_{c}^{d} f_{XY}(x, y)dydx$$

 

Marginal probability function (주변확률함수)

1) discrete (이산형)

$$g(x) = \Sigma_{y}p_{XY}(x,y)]\;\; Summation\;of \;p_{XY}(x,y)\; over\; the\; values\; of\; Y$$

$$h(y) = \Sigma_{y}p_{XY}(x,y)]\;\; Summation\;of \;p_{XY}(x,y)\; over\; the\; values\; of\; X$$

 

2) continuous (연속형)

$$g(x) = \int_{-\infty}^{\infty}f_{XY}(x,y)dy\;\; Integral\;of \;f_{XY}(x,y)\;w.r.t\:Y\; over\; the\; values\; of\; Y$$

$$h(y) = \int_{-\infty}^{\infty}f_{XY}(x,y)dx\;\; Integral\;of \;f_{XY}(x,y)\;w.r.t\:X\; over\; the\; values\; of\; X$$

 

Marginal Probability Distribution (주변확률분포)

1) 정의

교수님 슬라이드

$$F_{X}(a) = P[X \leq a] = P[X \leq a, Y \leq < \infty]$$

$$\lim_{b\to\infty}P[X\leq a, Y\leq b] = \lim_{b\to\infty}F_{XY}(a,b)$$

 

Independent Random Variables (독립확률변수)

1) 정의

    - 확률변수 X, Y가 아래의 조건을 만족할 때, 독립이다. (A, B는 실수)

$$P(X \in A, Y \in B) = P(X \in A)P(Y \in B)$$

$$P(X_{1} \in A_{1}, X_{2} \in A_{2}, ..., X_{n} \in A_{n}) = P(X_{1} \in A_{1})P(X_{2} \in A_{2}) \cdot \cdot \cdot P(X_{n} \in A_{n})$$

 

2) 이산형, 연속형 확률 변수 X, Y가 독립일 때, pmf, pdf를 아래와 같이 표현할 수 있다.

$$f_{XY}(x, y) = f_{X}(x)f_{Y}(y) \;\;\;\;\; -\infty < x < \infty, -\infty < y< \infty$$

---

Convolution (Sums of Independent Random Variables)

1) 정의

    - 확률변수 X, Y가 독립일 때, X, Y의 확률분포의 합

    - F_(X+Y) 를 convolution of F_(X) and F_(Y)

 

2) X,Y 독립, cdf of X+Y

$$F_{X+Y}(a) = P(X+Y<a) = \int\int_{X+Y<a}f_{XY}(x, y)dxdy$$

$$= \int\int_{X+Y<a}f_{X}(x)f_{Y}(y)dxdy$$

$$= \int_{-\infty}^{\infty}\int_{-\infty}^{a-y}f_{X}(x)f_{Y}(y)dxdy$$

$$= \int_{-\infty}^{\infty}\int_{-\infty}^{a-y}f_{X}(x)dx \cdot f_{Y}(y)dy$$

$$= \int_{-\infty}^{\infty}F_{X}(a-y) \cdot f_{Y}(y)dy$$

 

3) pdf (앞서 구한 convolution을 미분(cdf를 미분하면 pdf)한 값)

$$f_{X+Y}(a) = \frac{d}{da} \int_{-\infty}^{\infty}F_{x}(a-y)f_{Y}(y) \cdot dy$$

$$\int_{-\infty}^{\infty} \frac{d}{da}F_{X}(a-y)f_{Y}(y) \cdot dy$$

$$\int_{-\infty}^{\infty}f_{X}(a-y)f_{Y}(y) \cdot dy$$

 

4) Uniform distribution (일양분포의 합)

    - X, Y가 (0, 1)에서 일양분포일 때의 합

$$f_{X+Y}(a) = \int_{0}^{1}f_{x}(a-y)dy \;\;\; f_{Y}(y)=1$$

$$\int_{0}^{a}dy=a \;\;\; 0\leq a \leq 1$$

$$\int_{a-1}^{1}dy=2-a \;\;\; 1 < a < 2 $$

 

5) 정규분포의 합

$$X_{1} \sim N(\mu_{1}, \sigma_{1}^{2})$$

$$X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$$

$$X_{3} \sim N(\mu_{3}, \sigma_{3}^{2})$$

$$\sum_{i=1}^{n}X_{i} \sim N(\sum_{i=1}^{n}\mu_{i},\sum_{i=1}^{n}\sigma_{i}^{2})$$

 

6) 프아송 분포의 합

    - X, Y의 parameter는 lambda 1, lambda 2일 때의 X+Y?

    - {X+Y = n} = {X = k, Y = n-k}, 0<= k <= n

    - 여전히 프아송 분포를 따르며 파라미터는 각 분포의 람다들의 합이다.

$$P(X+Y = n) = \sum_{k=0}^{n}P(X=k, Y=n-k)$$

$$= \sum_{k=0}^{n}P(X=k)P(Y=n-k)$$

$$= \sum_{k=0}^{n}e^{-\lambda_{1}}\frac{\lambda_{1}^{k}}{k!}e^{-\lambda_{2}}\frac{\lambda_{2}^{n-k}}{n-k!}$$

$$= e^{-(\lambda_{1}+\lambda_{2})}\sum_{k=0}^{n}\frac{\lambda_{1}^{k}\lambda_{2}^{n-k}}{k!(n-k)!}$$

$$= \frac{e^{-(\lambda_{1}+\lambda_{2})}}{n!}\sum_{k=0}^{n}\frac{n!}{k!(n-k)!}\lambda_{1}^{k}\lambda_{2}^{n-k}$$

$$= \frac{e^{-(\lambda_{1}+\lambda_{2})}(\lambda_{1}+\lambda_{2})^{2}}{n!}$$

---

Conditional Distribution (조건부 확률분포)

1) Discrete (pmf)

    - X, Y가 discrete 확률변수이고 Y=y가 주어졌을때 X의 conditional pmf

$$P_{X|Y}(x|y) = P(X=x|Y=y) = \frac{P(X=x, Y=y)}{P(Y=y)} = \frac{p_{XY}(x, y)}{p_{Y}(y)}$$

 

2) Continous (pdf)

    - X, Y가 continous 확률변수이고 Y=y가 주어졌을때 X의 conditional pdf

$$f_{X|Y}(x|y) = \frac{f_{XY}(x,y) \;\;\;\;\; joint\;pdf}{f_{Y}(y) \;\;\;\;\; marginal\;pdf}$$

$$p(X\in A|Y = y)  = \int_{A}f_{X|Y}(x|y)dx$$

 

---

고려대 김성범 교수님의 유튜브를 정리하였습니다.

www.youtube.com/channel/UCueLU1pCvFlM8Y8sth7a6RQ/videos