인공지능을 위한 선형대수 - CHAPTER 4.1 고유벡터와 고유값

www.edwith.org/linearalgebra4ai/lecture/24800

[LECTURE] 고유벡터와 고유값 : edwith

Eigenvectors and Eigenvalues

Eigen Decomposition은 주어진 Matrix에 대해 굉장히 중요한 정보를 추출해내는 과정이라고 생각해볼 수 있습니다.

 

\(A\mathbf{x} = \lambda\mathbf{x}\) 를 만족하는 Nonzero Vector \(\mathbf{x}\)를 \(A\)의 Eigenvector라 하며, \(\lambda\)를 \(A\)의 Eigenvalue라 합니다. 그리고, 이러한 \(\mathbf{x}\)를 Eigenvector corresponding to \(\lambda\)라고 합니다.

 

위 식을 보면 Eigenvector와 Eigenvalue의 관계는 바늘과 실 같은 관계로 생각할 수 있습니다. 

Transformation Perspective

Matrix \(A\)가 주어졌을때, 우리는 \(A\)를 어떤 변환을 하는 혹은 어느 한 벡터를 또다른 벡터로 변환하는, Linear Transformation으로 생각해볼 수 있었습니다.

 

예로 벡터 \(\mathbf{x}\)에 \(A\)를 곱하는 것을 생각해보면, \(A\mathbf{x}\)는 \(\mathbf{x}\)와 비교했을때 방향성과 스케일이 변할 수 있습니다.

 

다시! \(A\mathbf{x} = \lambda\mathbf{x}\) 이 식으로 돌아와서 Eigenvectors 와 Eigenvalues에 대해 생각해봅시다.

 

\(\mathbf{x}\)에 행렬 \(A\)를 곱했을때 나오는 벡터가 \(\mathbf{x}\)에 스칼라 \(\lambda\)를 곱했을때 나오는 벡터와 같다...

 

\(\mathbf{x}\)에 \(\lambda\) 를 곱하면 벡터의 놈(=스케일)만 변할뿐 방향성은 변하지 않습니다.

 

즉, Eigenvector \(\mathbf{x}\)는 행렬 A와 곱했을때 방향성이 변하지 않는 벡터입니다!

 

선형대수학을 대학교에서도 수강했었고, Coursera 강의를 통해서도 수강했었지만 이러한 사실을 깨닫지 못했었습니다... 저는 여기서 약간 머리가 얼얼했습니다.

How to get Eigenvectors and Eigenvalues

그래서 Eigenvectors와 Eigenvalues는 어떻게 구할 수 있을까요?

 

앞서 소개된 수식 \(A\mathbf{x} = \lambda\mathbf{x}\) 은 아래와 같이 재정의 될 수 있습니다.

 

\(A\mathbf{x} - \lambda\mathbf{x} = 0\)

\(A\mathbf{x} - \lambda I \mathbf{x} = 0\), \( I \mathbf{x} = \mathbf{x} \)

\((A - \lambda I) \mathbf{x} = 0\)

 

위 식을 만족하는 \(\lambda\)가 바로 n x n 행렬 \(A\)의 Eigenvalue입니다. 사실은 조건이 더 붙습니다. 바로 \(x\)가 nontrivial solution이여야 됩니다. 즉, \(\mathbf{x}\)가 nonzero vector여야 한다는 의미와 같습니다.

 

\(\mathbf{x}\)가 zero 벡터라면 어떠한 스칼라 값이든 행렬 \(A\)의 Eigenvalue가 됩니다. 고유값이 고유하지 않게됩니다.

 

다시 \((A - \lambda I) \mathbf{x} = 0\) 식을 봐봅시다.

 

우리는  \(\mathbf{x}\)가 nonzero vector여야 한다는 걸 압니다. 언제 \(\mathbf{x}\)가 zero vector가 될 수 있을까요?

 

\(A-\lambda I\)의 역행렬이 존재할때 \(\mathbf{x}\)가 zero vector가 될 수 있습니다.

 

그러므로, Eigenvector 와 Eigenvalue가 존재하기 위해서 \(A-\lambda I\)의 역행렬이 존재하면 안됩니다.

 

즉, \(det(A-\lambda I) = 0\) 을 만족해야합니다. 그리고 해당 식을 풀어내어 eigenvalue \(\lambda\)를 구해내고 이를 다시 \((A - \lambda I) \mathbf{x} = 0\)에 대입해 eigenvector \(\mathbf{x}\)를 구하면 됩니다!