인공지능을 위한 선형대수 - CHAPTER 3.6 그람-슈미트 직교화와 QR 분해

www.edwith.org/linearalgebra4ai/lecture/24798

[LECTURE] 그람-슈미트 직교화와 QR 분해 : edwith

Gram-Schmidt Orthogonalization

행렬 \(A\)가 있습니다.

 

\(A = \begin{bmatrix} 3 && 1 \\ 6 && 2 \\ 0 && 2 \end{bmatrix} \)

 

\(A\)의 Column Vectors를 \(\mathbf{a}_{1}\), \(\mathbf{a}_{2}\)라고 정의하겠습니다. 이 Column Vectors는 Orthogonal 하지 않으며, 당연하게도 Orthonormal 하지 않습니다. 두 Column Vectors로 형성되는 Span을 해치지 않고 두 Column Vectors가 서로 Orthonormal 한 성질을 갖도록 변환시켜보겠습니다.

 

먼저, 하나의 벡터를 택하고 해당 벡터가 Normal Vector가 되도록 변환시킵니다. \(\mathbf{a}_{1}\)을 택하고 이 벡터의 Normal Vector \(\mathbf{u}_{1}\)라고 정의하겠습니다.

 

\(\mathbf{u}_{1} = \mathbf{v}_{1}/||\mathbf{v}_{1}||\)

 

이제 \(\mathbf{u}_{1}\)과 직교하는 Normal Vector \(\mathbf{u}_{2}\)를 구해야 합니다.

 

 

\(\mathbf{u}_{1}\)과 \(\mathbf{v}_{2}\)를 시각화 해보자면 위 그림 처럼 나타낼 수 있을 것입니다.(대충 그린 것이며 실제로 시각화를 해보면 저렇게 그려지지 않을 것입니다.)

 

 

\(\mathbf{v}_{2}\)를 \(\mathbf{u}_{1}\)에 정사영 내리고 정사영 내린 벡터를 \(\mathbf{v}_{2}\)에서 빼면 \(\mathbf{u}_{1}\)에 수직한 벡터를 구할 수 있습니다.

 

 

 

그리고, 그 수직한 벡터를 Normal Vector로 변환시켜주면 \(\mathbf{u}_{1}\)과 직교하는 Normal Vector \(\mathbf{u}_{2}\)가 나오게 됩니다.

 

\(A\)의 Column Vector가 하나 더 존재하는 경우를 생각해봅시다. 그리고, 그 벡터를 \(\mathbf{v}_{3}\)라고 하겠습니다.

 

\(\mathbf{v}_{3}\)를 \(\mathbf{u}_{1}\)에 대해 정사영 내리고 \(\mathbf{u}_{2}\)에 대해 정사영 내립니다. 정사영된 두 벡터를 \(\mathbf{v}_{3}\)에서 빼고, 그 벡터를 Normal Vector로 변환시켜주면 \(\mathbf{u}_{3}\)를 구할 수 있게 됩니다. 여기서, \(\mathbf{u}_{1}\) 과 \(\mathbf{u}_{2}\)는 서로 직교함에 주의합니다(추후 내용 보충).

QR Factorization

Gram-Schmidt Orthogonalization을 거쳐 어떤 행렬 \(A\)의 컬럼 벡터들이 Orthogonal 한 특성을 갖도록 변환 되었다고 가정해보겠습니다. 이 Orthogonal한 컬럼 벡터들에 대하여 Gram-Schmidt Orthogonalization 과정을 역으로 계산하면 \(A\)를 다시 구할 수 있습니다. 그리고 이 과정은 행렬 곱으로 표현이 가능합니다.

 

\(A = QR\)이라고 하였을때, 여기서 \(Q\)는 Gram-Schmidt Orthogonalization 과정을 통해 나온 Orthogonal Martrix입니다. \(R\)은 Orthogonal Matrix \(Q\)를 \(A\)로 복원하기위한 행렬로 해당 행렬은 Upper Triangular Matrix로 정의됩니다. 그리고 이러한 분해 과정을 QR Factorizaiton이라 합니다.