인공지능을 위한 선형대수 - CHAPTER 3.4 Orthogonal Projection 1

www.edwith.org/linearalgebra4ai/lecture/24796/

[LECTURE] Orthogonal Projection Ⅰ : edwith

Orthogonal Projection Perspective

Projection은 "사영을 시킨다."라는 의미로 해석 가능합니다.

 

$A\mathbf{x}=\mathbf{b}$인 Linear System에 대하여, Least Square 방법을 통해 구한 해 $\hat{\mathbf{x}}$는 다음과 같습니다.

 

$\hat{\mathbf{x}}=(A^{T}A{)}^{-1}{A}^T\mathbf{b}$

 

이렇게 구한 $\hat{\mathbf{x}}$를 $A\mathbf{x}=\mathbf{b}$의 $\mathbf{x}$에 대입하면,

$A\hat{\mathbf{x}}=\hat{\mathbf{b}}$ 가 됩니다. 여기서, $\hat{\mathbf{b}}$는 $\mathbf{b}$를 $A$의 Column Space에 정사영 내린 벡터와 동일합니다.

 

그리고, $\hat{\mathbf{b}}$은 다음과 같습니다.

$\hat{\mathbf{b}}=A\hat{\mathbf{x}}=A(A^{T}A{)}^{-1}{A}^T\mathbf{b}$

Orthogonal Sets and Orthonormal Sets

Orthogonal Sets

Definition: A set of vectors {${\mathbf{u}}_1,\dots ,{\mathbf{u}}_p$} in ${\mathbb{R}}^n$ is an orthogonal set if each pair of distinct vectors from the set is orthogonal

That is, if ${\mathbf{u}}_i\cdot {\mathbf{u}}_j=0$ whenever $i\ne j$.

 

각각의 벡터들이 서로 수직인 집합.

Orthonormal Sets

Definition: A set of vectors {${\mathbf{u}}_1,\dots ,{\mathbf{u}}_p$} in ${\mathbb{R}}^n$ is an orthonormal set if it is an orthogonal set of unit vectors.

 

각각의 벡터들이 서로 수직이면서 Norm값이 1인 벡터들의 집합.

 

Is an orthogonal (or orthonormal) set also a linearly independent set? Yes.

What about its converse? No.

Orthogonal Basis and Orthonormal Basis

Consider basis {${\mathbf{v}}_1,\dots ,{\mathbf{v}}_p$} of a p-dimensional subsapce $W$ in ${\mathbb{R}}^n$.

 

Can we make it as an orthogonal (or orthonormal) basis?

Yes, it can be done by Gram-Schmidt process -> QR factorization(나중에 배움)

 

Given the orthogonal basis {${\mathbf{v}}_1,\dots ,{\mathbf{v}}_p$} of $W$,

let's compute the orthogonal projection of $\mathbf{y}\in {\mathbb{R}}^n$ onto $W$.

 

어떠한 basis가 주어졌을때, basis를 이루는 벡터들간의 관계를 Orthogonal하도록 바꾸어줄수 있습니다. 이러한 기법으로 Gram-Schmidt process가 있습니다.

Orthogonal Projection $\hat{\mathbf{y}}$ of $\mathbf{y}$ onto Line

Consider the orthogonal projection $\hat{\mathbf{y}}$ of $\mathbf{y}$ onto one-dimensional subspace $L$. 여기서 $L$은 벡터 $\mathbf{u}$의 Span입니다.

 

 

 

$\mathbf{y}$와 $\mathbf{u}$가 이루는 각도를 $\theta$라고 하겠습니다.

 

 

직각 삼각형이 보입니다.

먼저, $\hat{\mathbf{y}}$의 길이를 구해보도록 하겠습니다. 여기서, 갑자기 여기서 $\hat{\mathbf{y}}$의 길이를 구한다고? 라고 당황할 수 있지만 따라가봅시다.

  

중고등학교때 배운 직각 삼각형의 변의 길이 공식을 떠올려봅시다.

 

$\hat{\mathbf{y}}$ 의 길이 = $||\mathbf{y}||\cos \theta$ 입니다.

 

지난 강의를 통해 두 벡터 $\mathbf{y}$와 $\mathbf{u}$의 내적은 $\mathbf{y}\cdot \mathbf{u}=||\mathbf{y}||||\mathbf{u}||\cos \theta$라는 것을 알고있습니다. 여기서, $\hat{\mathbf{y}}$ 의 길이 =  $||\mathbf{y}||\cos \theta =\frac{\mathbf{y}\cdot \mathbf{u}}{||\mathbf{u}||}$라는 것을 알 수 있습니다. 여기서 잠깐 쉬어줍시다.

 

$\mathbf{u}$와 $\hat{\mathbf{y}}$을 유심히 들여다 보면 서로 길이는 다르지만 방향이 같다는 것을 알 수 있습니다.

 

즉, $\mathbf{u}$에 적절한 스칼라값을 곱하여 $\hat{\mathbf{y}}$을 구할 수 있습니다.

 

다음은 적절한 스칼라값을 구하는 과정입니다.

 

먼저, $\mathbf{u}$ 를 $||\mathbf{u}||$로 나누면 단위벡터가 됩니다. 그다음, $||\hat{\mathbf{y}}||$을 곱하면 $\hat{\mathbf{y}}$가 됩니다.

 

이를 수식으로 나타내면 다음과 같습니다.

 

$\hat{\mathbf{y}}=\frac{||\hat{\mathbf{y}}||}{||\mathbf{u}||}\mathbf{u}=\frac{\mathbf{y}\cdot \mathbf{u}}{\mathbf{u}\cdot \mathbf{u}}\mathbf{u}$

 

적절한 스칼라값은 $\frac{||\hat{\mathbf{y}}||}{||\mathbf{u}||}$입니다.

 

수식으로 정리하면,

 

$\hat{\mathbf{y}}={\mathsf{proj}}_L\mathbf{y}=\frac{\mathbf{y}\cdot \mathbf{u}}{\mathbf{u}\cdot \mathbf{u}}\mathbf{u}$ 입니다.

 

여기서 $\mathbf{u}$가 단위 벡터인 경우 $\hat{\mathbf{y}}={\mathsf{proj}}_L\mathbf{y}=(\mathbf{y}\cdot \mathbf{u})\cdot \mathbf{u}$ 입니다.

Orthogonal Projection $\hat{\mathbf{y}}$ of $\mathbf{y}$ onto Plane

우리는 임의의 벡터를 Line이 아닌 2차원, 3차원, 4차원 이상의 Subspace에 사영을 내리는 경우도 생각할 수 있습니다.

 

임의의 벡터 $\mathbf{y}$를 2차원 평면 Subspace $W=\mathsf{Span}\{{\mathbf{u}}_1,{\mathbf{u}}_2\}$에 사영 내리고 사영된 벡터 $\hat{\mathbf{y}}$를 구해보겠습니다.

$\hat{\mathbf{y}}$는 $\mathbf{y}$를 ${\mathbf{u}}_1$에 정사영내린 벡터와 ${\mathbf{u}}_2$에 정사영내린 벡터를 더한 벡터와 동일합니다. 단, ${\mathbf{u}}_1$과 ${\mathbf{u}}_2$는 Orthogonal 해야합니다.