고유값 & 고유벡터

※ 행렬은 벡터를 변환시켜 다른 벡터를 출력하는 '선형 변환 연산' (크기와 방향 모두 변할 수 있음)

 

상수배

- 선형 변환 후, 평행하지만 크기만 바뀐 결과

 

고유값

1) 정의

    - 임의의 n x n 행렬에 대하여, 0이 아닌 벡터가 존재한다면 상수배는 행렬의 고유값

 

2) 성질

    - A행렬의 고유값의 합은 대각원소들의 합 (trace)이다.

    - A행렬의 고유값의 곱은 행렬식 값과 같다.

    - A(T)와 A행렬의 고유값은 같다.

    - A^n = 고유값 ^n

    - A역행렬의 고유값 = 고유값 ^ -1

    - 상수배(x)한 A행렬의 고유값 = 상수배(x) 고유값

    - A+상수배(x)한 단위행렬의 고유값 = 상수 + 고유값

 

고유벡터

- 0이 아닌 벡터에 대해 선형변환의 결과가 자신의 스칼라배(상수배)로 나타나는 벡터

- 즉, 백터에 행렬을 곱하는 선형변환 (linear transformation)에 의해 방향이 변하지 않는 벡터를 의미

 

활용

- SVD (특이값 분해)

- Pseudo-Inverse

- PCA (주성분분석)

---

$$A\vec{x}=\lambda \vec{x}$$

$$(A-\lambda I)\vec{x}=0$$

행렬의 성질에 의해 변경한 위의 식이 성립하기 위한 조건

1) 괄호 안의 식이 0인 경우

 

2) 벡터 x가 0인 경우

    - 2번 조건이 만족되는 경우에는 1번과 다르게 0인 고유벡터와 아무런 고유값을 가질 수 있음 (trivial solution)

    - 괄호 안의 식이 역행렬을 가지지 않아야만 위의 경우가 생기지 않게 됨 (자명하지 않은 값을 얻을 수 있음)

    - nontrivial solution을 가지기 위한 필요충분 조건은 다음과 같음

trivial, nontrivial은 자명한 값과 자명하지 않은 값으로 trivial은 영행렬 말고는 다른 해를 가지지 않음을 의미함

$$det(A-\lambda I)=0$$

    - 영벡터가 아닌 벡터와 행렬을 곱해서 0이 되게 하려면 행렬에 일어나는 변환이 낮은 차원으로 내림

 

고윳값 계산하기

$$det(A-\lambda I) = det \left( \left[ \begin{array}{c} 2 - \lambda& 1\\ 1 & 2 -\lambda \end{array} \right] \right) = 0$$

$$\Rightarrow (2-\lambda)^2-1$$

$$= (4-4\lambda + \lambda ^2)-1$$

$$=\lambda ^2 -4\lambda + 3 = 0$$

- 선형변환 A의 고유값은 1, 3

- 고유벡터는 연립방정식을 사용하여 구함

---

고유값 분해 (EVD)

1) 정의

    - 행렬을 정형화된 형태로 분해함으로써 고유값과 고유벡터로 표현하는 것이다.

    - 대각화가 가능하려면 일차독립인 고유벡터의 개수가 n x n 행렬에서 n개 존재해야 한다.

 

2) 성질

    - 고유값과 고유벡터 각각 n개를 획득한 경우 아래의 식을 만족함

$$Av_i = \lambda_i v_i\text{ for } i = 1, 2, \cdots, n$$

    - 고유벡터 행렬

$$V = \begin{bmatrix} | & | & \text{ } & | \\ v_1 & v_2 & \cdots & v_n \\ | & | & \text{ } & | \end{bmatrix}$$

    - 고유값의 대각성분에 모아둔 행렬

$$\Lambda = \begin{bmatrix}\lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & 0 & 0 \\ \text{ } & \text{ } & \ddots & \text{ } \\ 0 & 0 & \cdots & \lambda_n\end{bmatrix}$$

    - 식의 관계에서 다음과 같이 행렬 A를 나타냄

$$A = V\Lambda V^{-1}$$

---

- 본 글은 공돌이의 수학정리노트 angeloyeo.github.io/와 다크 프로그래머 darkpgmr.tistory.com/을 참고하여 작성되었습니다.

- 저에게 필요한 부분만 정리하였으니 더욱 자세한 설명은 위의 사이트를 참조하세요.