인공지능을 위한 선형대수 - CHAPTER 3.6 그람-슈미트 직교화와 QR 분해

www.edwith.org/linearalgebra4ai/lecture/24798

[LECTURE] 그람-슈미트 직교화와 QR 분해 : edwith

Gram-Schmidt Orthogonalization

행렬 $A$가 있습니다.

 

$A=\left[\begin{array}{ccc}3& & 1\\ 6& & 2\\ 0& & 2\end{array}\right]$

 

$A$의 Column Vectors를 ${\mathbf{a}}_1$, ${\mathbf{a}}_2$라고 정의하겠습니다. 이 Column Vectors는 Orthogonal 하지 않으며, 당연하게도 Orthonormal 하지 않습니다. 두 Column Vectors로 형성되는 Span을 해치지 않고 두 Column Vectors가 서로 Orthonormal 한 성질을 갖도록 변환시켜보겠습니다.

 

먼저, 하나의 벡터를 택하고 해당 벡터가 Normal Vector가 되도록 변환시킵니다. ${\mathbf{a}}_1$을 택하고 이 벡터의 Normal Vector ${\mathbf{u}}_1$라고 정의하겠습니다.

 

${\mathbf{u}}_1={\mathbf{v}}_1/||{\mathbf{v}}_1||$

 

이제 ${\mathbf{u}}_1$과 직교하는 Normal Vector ${\mathbf{u}}_2$를 구해야 합니다.

 

 

${\mathbf{u}}_1$과 ${\mathbf{v}}_2$를 시각화 해보자면 위 그림 처럼 나타낼 수 있을 것입니다.(대충 그린 것이며 실제로 시각화를 해보면 저렇게 그려지지 않을 것입니다.)

 

 

${\mathbf{v}}_2$를 ${\mathbf{u}}_1$에 정사영 내리고 정사영 내린 벡터를 ${\mathbf{v}}_2$에서 빼면 ${\mathbf{u}}_1$에 수직한 벡터를 구할 수 있습니다.

 

 

 

그리고, 그 수직한 벡터를 Normal Vector로 변환시켜주면 ${\mathbf{u}}_1$과 직교하는 Normal Vector ${\mathbf{u}}_2$가 나오게 됩니다.

 

$A$의 Column Vector가 하나 더 존재하는 경우를 생각해봅시다. 그리고, 그 벡터를 ${\mathbf{v}}_3$라고 하겠습니다.

 

${\mathbf{v}}_3$를 ${\mathbf{u}}_1$에 대해 정사영 내리고 ${\mathbf{u}}_2$에 대해 정사영 내립니다. 정사영된 두 벡터를 ${\mathbf{v}}_3$에서 빼고, 그 벡터를 Normal Vector로 변환시켜주면 ${\mathbf{u}}_3$를 구할 수 있게 됩니다. 여기서, ${\mathbf{u}}_1$ 과 ${\mathbf{u}}_2$는 서로 직교함에 주의합니다(추후 내용 보충).

QR Factorization

Gram-Schmidt Orthogonalization을 거쳐 어떤 행렬 $A$의 컬럼 벡터들이 Orthogonal 한 특성을 갖도록 변환 되었다고 가정해보겠습니다. 이 Orthogonal한 컬럼 벡터들에 대하여 Gram-Schmidt Orthogonalization 과정을 역으로 계산하면 $A$를 다시 구할 수 있습니다. 그리고 이 과정은 행렬 곱으로 표현이 가능합니다.

 

$A=QR$이라고 하였을때, 여기서 $Q$는 Gram-Schmidt Orthogonalization 과정을 통해 나온 Orthogonal Martrix입니다. $R$은 Orthogonal Matrix $Q$를 $A$로 복원하기위한 행렬로 해당 행렬은 Upper Triangular Matrix로 정의됩니다. 그리고 이러한 분해 과정을 QR Factorizaiton이라 합니다.