인공지능을 위한 선형대수 - CHAPTER 3.5 Orthogonal Projection 2

www.edwith.org/linearalgebra4ai/lecture/24797

[LECTURE] Orthogonal Projection Ⅱ : edwith

Orthogonal Projection Perspective

Back to the case of invertible \(A^{T}A\), consider the orthogonal projection of \(\mathbf{b}\) onto Col \(A\) as

 

$$ \hat{\mathbf{b}} = f(\mathbf{b}) = A\hat{\mathbf{x}} = A(A^{T}A)^{-1}A^{T}\mathbf{b} $$

 

지난 강의에서 Linear System \(A\mathbf{x} = \mathbf{b}\)에 대하여 Least Square 방법을 통해 해를 구하는 과정에 있어 \(\mathbf{b}\)를 Col \(A\)에 Projection 시키는 과정(\(f(\mathbf{b})\))이 존재하였습니다.

 

그런데, 일반적인 경우에 Col \(A\)의 Basis가 Orthogonal 하지는 않습니다. 직전에 수강한 CHAPTER 3.4 강의에서 임의의 벡터를 어떠한 평면에 Projection 시키는 과정에 있어, 임의의 벡터를 해당 평면에 Basis에 각각 Projection 시킨 뒤 이를 모두 합산한 벡터를 구하였었습니다. 하지만, 이때 해당 평면의 Basis는 Orthogonal Set 이라는 조건이 있었습니다. 이러한 조건을 생각해보면 이전 강의에서 배운 Projection과 위 수식의 연관관계를 매듭 짓기가 쉽지 않습니다. 이번 강의에서는 이전 강의에서 배운 Projection 과정과 위식의 연관관계에 대하여 설명합니다.

Transformation: Orthogonal Projection

Consider a transformation of orthogonal projection \(\hat{\mathbf{b}}\) of \(\mathbf{b}\), given orthonormal basis {\(\mathbf{u}_{1}, \mathbf{u}_{2}\)} of a subspace \(W\):

 

{\(\mathbf{u}_{1}, \mathbf{u}_{2}\)}가 Orthonormal인 점을 잘 생각해보고 아래의 식을 봐봅시다.

 

\( \hat{\mathbf{b}} = f(\mathbf{b}) = (\mathbf{b} \cdot \mathbf{u}_{1})\mathbf{u}_{1} + (\mathbf{b} \cdot \mathbf{u}_{2})\mathbf{u}_{2} \)

 

여기서 두 벡터 \(\mathbf{a}\), \(\mathbf{b}\)의 내적 \(\mathbf{a} \cdot \mathbf{b}\)가 \(\mathbf{b}^{T}\mathbf{a}\)임을 상기하면 위 식은 아래와 같이 정의될 수 있습니다.

 

\( = (\mathbf{u}_{1}^{T}\mathbf{b})\mathbf{u}_{1} + (\mathbf{u}_{2}^{T}\mathbf{b})\mathbf{u}_{2} \)

 

여기서 \((\mathbf{u}_{1}^{T}\mathbf{b})\)와 \((\mathbf{u}_{2}^{T}\mathbf{b})\)는 상수입니다. 이때, 위식은 아래와 같이 전개될 수 있습니다. 

 

\( = \mathbf{u}_{1}(\mathbf{u}_{1}^{T}\mathbf{b}) + \mathbf{u}_{2}(\mathbf{u}_{2}^{T}\mathbf{b}) \)

\( = (\mathbf{u}_{1}\mathbf{u}_{1}^{T})\mathbf{b} + (\mathbf{u}_{2}\mathbf{u}_{2}^{T})\mathbf{b} \)

\( = \begin{bmatrix} \mathbf{u}_{1}  && \mathbf{u}_{2} \end{bmatrix} \begin{bmatrix} \mathbf{u}_{1}^{T}  \\ \mathbf{u}_{2}^{T} \end{bmatrix} \mathbf{b} \)

\( = UU^{T} \mathbf{b} \)

 

최종적으로 임의의 벡터를 Orthonormal한 Basis를 갖는 평면에 Projection 시키는 것은 Linear Transformation으로 볼 수 있습니다. 정신이 혼미해지는 유도과정입니다.

Orthogonal Projection Perspective (2)

Let's verify the following, when \(A = U = \begin{bmatrix} \mathbf{u}_{1} && \mathbf{u}_{2} \end{bmatrix} \) has orthonormal columns(\(\mathbf{u}_{1}\)과 \(\mathbf{u}_{2}\)가 Orthonormal하다. ):

 

Back to the case of invertible \(C = A^{T}A\), consider the orthogonal projection of \(\mathbf{b}\) onto Col \(A\) as

 

$$ \hat{\mathbf{b}} = f(\mathbf{b}) = A\hat{\mathbf{x}} = A(A^{T}A)^{-1}A^{T}\mathbf{b} =f(\mathbf{b}) $$

 

여기서, \(A^{T}A = \begin{bmatrix} \mathbf{u}_{1}^{T} \\ \mathbf{u}_{2}^{T} \end{bmatrix} \begin{bmatrix} \mathbf{u}_{1} && \mathbf{u}_{2} \end{bmatrix} = I \) 입니다.

 

$$ \hat{\mathbf{b}} = A(I)^{-1}A^{T}\mathbf{b} = AA^{T}\mathbf{b} =UU^{T}\mathbf{b} $$

 

실제로 Least Square 방법을 적용할때 \(A\)의 Column Vector들이 Orthonormal하다는 것을 알면 불필요한 행렬 연산 \(A^{T}A\)을 생략하고 \(AA^{T}\mathbf{b}\)로 \(\hat{\mathbf{b}}\)를 구하는 것이 가능하게 될 것으로 보입니다.

 

이후 강의에서 \(A\)의 Column Vector들이 Orthonormal 하지 않은 경우에 대해 설명을 하셨지만 몇 번을 반복해서 들어도 이해를 못하였습니다... ㅜㅜ 우선 다음 강의를 먼저 듣고 다시 복습하며 내용을 정리하도록 하겠습니다.