선형회귀 (Linear regression)

선형대수학적 관점에서 회귀분석

- 다음의 행렬을 푸는 것과 같음

$$A\vec{x} = \vec{b}$$

- 위의 행렬과 벡터를 열벡터로 표현한다면 다음과 같음

$$\Rightarrow \begin{bmatrix} | & | \\ \vec{a}_1 & \vec{a}_2 \\ | & | \end{bmatrix}\begin{bmatrix}x_1 \\ x_2\end{bmatrix} = \begin{bmatrix}\text{ } | \text{ } \\ \text{ } \vec{b} \text{ }\\\text{ } | \text{ }\end{bmatrix}$$

행렬 A의 열벡터 a1과 a2를 조합해서 벡터 b를 얻으려면 a1과 a2의 span안에 벡터b가 포함되어야 함

 

최적화 관점에서 회귀분석

- 데이터를 가장 잘 설명할 수 있는 함수를 찾는 것 (= 모델과 데이터 간의 차이가 가장 적은 경우)

- 평균 오차(error)값이 가장 적은 모델을 찾아야 함

- 모델로부터 계산된 값을 y^hat, 원래 데이터의 값을 y라고 한다면 error는 다음과 같음

$$e_i = \hat{y_i} - y_i$$

- +, - 값에 대응하기 위해 이를 제곱하고 미분을 하기 때문에 모든 데이터의 평균 오차값은 다음과 같음

비용 함수

$$E=\frac{1}{2N}\sum_{i=1}^{N}\left(ax_i+b-y_i\right)^2$$

 

경사하강법 (Gradient descent)

- 미적분학에서 자세히 서술 예정

- 비용 함수의 최소값을 찾을때, 경사하강법을 가장 많이 사용

- 정의역이 가중치와 편향 값이고 높이가 비용함수의 값인 함수 공간에서 점차 수정하며 error 값이 최소인 위치까지 이동

- 접선의 기울기 = 0

- alpha는 learning rate or step size

$$\begin{bmatrix}a\\b\end{bmatrix}:=\begin{bmatrix}a\\b\end{bmatrix}-\alpha\nabla f(a, b)$$

---

- 본 글은 공돌이의 수학정리노트 angeloyeo.github.io/와 다크 프로그래머 darkpgmr.tistory.com/을 참고하여 작성되었습니다.

- 저에게 필요한 부분만 정리하였으니 더욱 자세한 설명은 위의 사이트를 참조하세요.