인공지능을 위한 선형대수 - CHAPTER 3.5 Orthogonal Projection 2

www.edwith.org/linearalgebra4ai/lecture/24797

[LECTURE] Orthogonal Projection Ⅱ : edwith

Orthogonal Projection Perspective

Back to the case of invertible $A^{T}A$, consider the orthogonal projection of $\mathbf{b}$ onto Col $A$ as

 

$$\hat{\mathbf{b}}=f(\mathbf{b})=A\hat{\mathbf{x}}=A(A^{T}A{)}^{-1}{A}^T\mathbf{b}$$

 

지난 강의에서 Linear System $A\mathbf{x}=\mathbf{b}$에 대하여 Least Square 방법을 통해 해를 구하는 과정에 있어 $\mathbf{b}$를 Col $A$에 Projection 시키는 과정($f(\mathbf{b})$)이 존재하였습니다.

 

그런데, 일반적인 경우에 Col $A$의 Basis가 Orthogonal 하지는 않습니다. 직전에 수강한 CHAPTER 3.4 강의에서 임의의 벡터를 어떠한 평면에 Projection 시키는 과정에 있어, 임의의 벡터를 해당 평면에 Basis에 각각 Projection 시킨 뒤 이를 모두 합산한 벡터를 구하였었습니다. 하지만, 이때 해당 평면의 Basis는 Orthogonal Set 이라는 조건이 있었습니다. 이러한 조건을 생각해보면 이전 강의에서 배운 Projection과 위 수식의 연관관계를 매듭 짓기가 쉽지 않습니다. 이번 강의에서는 이전 강의에서 배운 Projection 과정과 위식의 연관관계에 대하여 설명합니다.

Transformation: Orthogonal Projection

Consider a transformation of orthogonal projection $\hat{\mathbf{b}}$ of $\mathbf{b}$, given orthonormal basis {${\mathbf{u}}_1,{\mathbf{u}}_2$} of a subspace $W$:

 

{${\mathbf{u}}_1,{\mathbf{u}}_2$}가 Orthonormal인 점을 잘 생각해보고 아래의 식을 봐봅시다.

 

$\hat{\mathbf{b}}=f(\mathbf{b})=(\mathbf{b}\cdot {\mathbf{u}}_1){\mathbf{u}}_1+(\mathbf{b}\cdot {\mathbf{u}}_2){\mathbf{u}}_2$

 

여기서 두 벡터 $\mathbf{a}$, $\mathbf{b}$의 내적 $\mathbf{a}\cdot \mathbf{b}$가 ${\mathbf{b}}^T\mathbf{a}$임을 상기하면 위 식은 아래와 같이 정의될 수 있습니다.

 

$=({\mathbf{u}}_1^T\mathbf{b}){\mathbf{u}}_1+({\mathbf{u}}_2^T\mathbf{b}){\mathbf{u}}_2$

 

여기서 $({\mathbf{u}}_1^T\mathbf{b})$와 $({\mathbf{u}}_2^T\mathbf{b})$는 상수입니다. 이때, 위식은 아래와 같이 전개될 수 있습니다. 

 

$={\mathbf{u}}_1({\mathbf{u}}_1^T\mathbf{b})+{\mathbf{u}}_2({\mathbf{u}}_2^T\mathbf{b})$

$=({\mathbf{u}}_1{\mathbf{u}}_1^T)\mathbf{b}+({\mathbf{u}}_2{\mathbf{u}}_2^T)\mathbf{b}$

$=\left[\begin{array}{ccc}{\mathbf{u}}_1& & {\mathbf{u}}_2\end{array}\right]\left[\begin{array}{c}{\mathbf{u}}_1^T\\ {\mathbf{u}}_2^T\end{array}\right]\mathbf{b}$

$=U{U}^T\mathbf{b}$

 

최종적으로 임의의 벡터를 Orthonormal한 Basis를 갖는 평면에 Projection 시키는 것은 Linear Transformation으로 볼 수 있습니다. 정신이 혼미해지는 유도과정입니다.

Orthogonal Projection Perspective (2)

Let's verify the following, when $A=U=\left[\begin{array}{ccc}{\mathbf{u}}_1& & {\mathbf{u}}_2\end{array}\right]$ has orthonormal columns(${\mathbf{u}}_1$과 ${\mathbf{u}}_2$가 Orthonormal하다. ):

 

Back to the case of invertible $C=A^{T}A$, consider the orthogonal projection of $\mathbf{b}$ onto Col $A$ as

 

$$\hat{\mathbf{b}}=f(\mathbf{b})=A\hat{\mathbf{x}}=A(A^{T}A{)}^{-1}{A}^T\mathbf{b}=f(\mathbf{b})$$

 

여기서, $A^{T}A=\left[\begin{array}{c}{\mathbf{u}}_1^T\\ {\mathbf{u}}_2^T\end{array}\right]\left[\begin{array}{ccc}{\mathbf{u}}_1& & {\mathbf{u}}_2\end{array}\right]=I$ 입니다.

 

$$\hat{\mathbf{b}}=A(I{)}^{-1}{A}^T\mathbf{b}=A{A}^T\mathbf{b}=U{U}^T\mathbf{b}$$

 

실제로 Least Square 방법을 적용할때 $A$의 Column Vector들이 Orthonormal하다는 것을 알면 불필요한 행렬 연산 $A^{T}A$을 생략하고 $A{A}^T\mathbf{b}$로 $\hat{\mathbf{b}}$를 구하는 것이 가능하게 될 것으로 보입니다.

 

이후 강의에서 $A$의 Column Vector들이 Orthonormal 하지 않은 경우에 대해 설명을 하셨지만 몇 번을 반복해서 들어도 이해를 못하였습니다... ㅜㅜ 우선 다음 강의를 먼저 듣고 다시 복습하며 내용을 정리하도록 하겠습니다.