날아가는 개발자

분류 전체보기 검색 결과

해당 글 124건

Overfitting (과적합)

발생 이유 - 훈련 데이터가 부족하거나 실제(테스트) 데이터에는 존재하지만 훈련 데이터에 없을 경우 - 모델 파라미터가 너무 많을 경우 Overfitting (과대적합) 1) 개요 - 훈련 데이터에서는 잘 동작하지만 테스트 데이터에서는 잘못된 판단을 한다. - 분산이 크다고 할 수 있으며, 이는 모델이 복잡하기 때문이다. 2) 해결 - 훈련 데이터의 양을 늘린다. - 모델의 복잡도를 낮춘다. - 모델 훈련 중 early stopping (loss가 다시 상승하기 시작할 때) - 규제 사용 (Ridge, Lasso, etc) Underfitting (과소적합) 1) 개요 - 모델이 충분히 복잡하지 않아 훈련 데이터는 물론 테스트 데이터에서도 낮은 성능을 보여줄 수 있다. - 편향이 크다고 할 수 있다. 2..

AI/Machine Learning 4년 전

Sampling Distributions, Central Limit Theorem

Sampling (표본추출) 1) 개요 - 모집단에서 표본을 추출해내는 것 - 모집단 또는 표본을 요약하기 위해 평균, 분산을 계산한다. Mean Variance Population $$\mu$$ $$\sigma^{2}$$ Sample $$\overline{X}$$ $$S^{2}$$ 2) Statistic (통계량) - 샘플들의 함수로 정의된다. - 샘플평균, 샘플분산도 통계량 중 하나이다. $$Statistic = f(x_{1}, x_{2}, \cdots, x_{n})$$ $$\overline{X} = \frac{x_{1}+x_{2}+\cdots +x_{n}}{n}$$ $$S^{2} = \frac{1}{n-1}\sum_{i=1}^{n}(x_{i}-\overline{X})^{2}$$ 3) Sampling..

Math/Probability & Statistics 4년 전

분산, 공분산, 상관관계, 기대값의 특성

기대값의 독립 1) 정의 - X, Y가 독립일 때, 함수 h, g에 대해 아래가 성립한다. $$E[g(X)h(Y)]=E[g(X)]E[h(Y)]$$ 2) 증명 $$E[g(X)h(Y)] = \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x)h(y)f_{X,Y}(x,y)dxdy$$ $$= \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x)h(y)f_{X}(x)f_{Y}(y)dxdy$$ $$= \int_{-\infty}^{\infty}g(x)f_{X}(x)dx\int_{-\infty}^{\infty}h(y)f_{Y}(y)dy$$ $$= E[g(X)][h(Y)]$$ Covariance (공분산) 1) 정의 - 두 확률 변수 간의 분산 ..

Math/Probability & Statistics 4년 전

Joint Probability Distribution (결합확률분포), Convolution

Joint probability distribution (결합확률분포) 1) 정의 - 두 개 이상의 확률 변수를 고려한다. $$f_{xy}(x, y) = P[X=x, Y=y]$$ - Joint pmf $$p_{xy}(x, y)= P[X=x,Y=y]$$ $$0\leq p_{xy}(x, y) \leq 1 \;\; for \; all \; x \; and \; y$$ $$\Sigma_{x}\Sigma_{y}p_{xy}(x, y) = 1$$ - joint pdf $$f_{XY}(x, y) \geq 0 \;\;\; for \; all \; x \; and \; y$$ $$P[(X,Y) \in A] = \int \int_{A} f_{XY}(x, y)dxdy$$ $$\int_{-\infty}^{\infty} \int..

Math/Probability & Statistics 4년 전

연속형 확률 변수

Uniform distribution (일양 분포) 1) 정의 - pdf - interval 내에서 확률변수의 값이 일정하다. - 그 외에는 0이다. $$f(x) = \frac{1}{\beta - \alpha}\;\;\;\;\; if \alpha < x < \beta$$ 2) 정의 - cdf $$F(a) = \int_{-\infty}^{a} f(x)dx$$ 3) 기대값, 분산 $$E[X] = \frac{\beta + \alpha}{2}$$ $$E[X^{2}] = \frac {\beta^{2}+\alpha\beta+\alpha^{2}}{3}$$ $$V[X] = E[X^{2}]-(E[X])^{2} = \frac {(\beta - \alpha)^{2}}{12}$$ Normal distribution (정규 분..

Math/Probability & Statistics 4년 전

이산형 확률분포

이산형 확률분포 1) 정의 - discrete 확률 함수의 확률 값들의 분포 베르누이 분포 (Bernoulli Distribution) 1) 정의 - 확률변수는 0 또는 1 의 실수값만을 가진다. - 베르누이 확률함수로부터 생성되는 확률들의 패턴이다. $$f_{x}(x; p) = p^{x}(1-p)^{1-x}, x = 0\;\; or\;\; 1$$ 2) 기대값 - x는 0 또는 1만 가능 $$E[X]= \sum x \cdot p^{x}(1-p)^{1-x} = 0 + p = p$$ 3) 분산 $$V[X]= E[x^{2}] - (E(x))^{2} = p - p^{2} = p(1-p)$$ 이항분포(Binomial distribution) 1) 정의 - n 번의 독립적인 베르누이 시행 - n 번의 시행 중 성공..

Math/Probability & Statistics 4년 전

확률 변수 (Random Variable)

확률 변수 1) 정의 - 표본공간에 있는 모든 원소를 실수에 대응하는 함수 $$Real numbers = f(Elements of the sample space)$$ 2) 이산형 확률변수 (Discrete random variables) - 확률변수의 아웃풋 값이 유한하게 셀 수 있는 숫자 - 코로나 확진자 수 - 학교 재학생 수 3) 연속형 확률변수 (Continuous random variables) - 확률변수의 아웃풋 값이 연속적인 (셀 수 없는) 숫자 - 시도별 연간 소득 - 1학년 학생들의 키 확률함수 (Probability function) 1) 정의 - 확률변수로 정의된 실수가 나올 확률 $$p = f(Real Number)$$ Probability mass function (pmf; 확률..

Math/Probability & Statistics 4년 전

경사하강법의 직관적, 수학적 이해

Local maxima and minima 1) 개요 - scalar 값을 output으로 가지는 다변수 함수를 아래와 같이 떠올릴 수 있다. 이때, 각 꼭짓점들을 local maximum이라고 일컫는다. - local maximum point : local maximum이 나오게 하는 입력값 (xn, yn) - global maximum은 local과 구분 짓게 되는데 이때의 값은 가장 큰 값을 의미한다. - 위의 사진의 위아래를 뒤집어 떠올릴 때는 local minimum point와 local minimum이 존재한다. 2) stable points - 함수의 특정 지점에서 기울기가 0이 되게 하는 값 - 다변수 함수에서 local maximum 또는 minimum은 편미분이 0이 될 것이다 Tes..

Math/Calculus 4년 전

헤시안 행렬 (Hessian matrix) / Frangi filter

헤시안 행렬 (hessian matrix) 1) 정의 - 다변수 함수의 헤시안 행렬은 2계 편미분으로 구성되어 있다. - 오직 스칼라 함수에만 적용이 가능하다. $$H(f) = \begin{bmatrix} \frac{\partial^2f}{\partial x_1^2} & \frac{\partial^2f}{\partial x_1\partial x_2} & \cdots & \frac{\partial^2f}{\partial x_1\partial x_n} \\\\ \frac{\partial^2f}{\partial x_2\partial x_1} & \frac{\partial^2f}{\partial x_2^2} & \cdots & \vdots \\\\ \vdots & \vdots & \ddots & \vdots \..

Math/Calculus 4년 전

Pearson's correlation

Pearson's correlation 1) 개요 - 수치로 나타낸 두 변수 간에 상관관계가 있는지 알아내기 위해 사용한다. - 상관관계는 다음과 같이 총 3개로 분류할 수 있다. 2) Correlation coefficient (상관계수) - 피어슨 상관계수는 두 변수 간의 선형 관계를 통계적 수치로 나타낸 것이다. $$-1

Data/Data Analysis 4년 전