인공지능을 위한 선형대수 - CHAPTER 3.4 Orthogonal Projection 1

www.edwith.org/linearalgebra4ai/lecture/24796/

[LECTURE] Orthogonal Projection Ⅰ : edwith

Orthogonal Projection Perspective

Projection은 "사영을 시킨다."라는 의미로 해석 가능합니다.

 

\(A\mathbf{x}=\mathbf{b}\)인 Linear System에 대하여, Least Square 방법을 통해 구한 해 \(\hat{\mathbf{x}}\)는 다음과 같습니다.

 

\(\hat{\mathbf{x}}=(A^{T}A)^{-1}A^{T}\mathbf{b}\)

 

이렇게 구한 \(\hat{\mathbf{x}}\)를 \(A\mathbf{x}=\mathbf{b}\)의 \(\mathbf{x}\)에 대입하면,

\(A\hat{\mathbf{x}}=\hat{\mathbf{b}}\) 가 됩니다. 여기서, \(\hat{\mathbf{b}}\)는 \(\mathbf{b}\)를 \(A\)의 Column Space에 정사영 내린 벡터와 동일합니다.

 

그리고, \(\hat{\mathbf{b}}\)은 다음과 같습니다.

\(\hat{\mathbf{b}}=A\hat{\mathbf{x}}=A(A^{T}A)^{-1}A^{T}\mathbf{b}\)

Orthogonal Sets and Orthonormal Sets

Orthogonal Sets

Definition: A set of vectors {\( \mathbf{u}_{1}, \ldots ,\mathbf{u}_{p}\)} in \(\mathbb{R}^{n}\) is an orthogonal set if each pair of distinct vectors from the set is orthogonal

That is, if \(\mathbf{u}_{i} \cdot \mathbf{u}_{j} = 0\) whenever \( i \ne j\).

 

각각의 벡터들이 서로 수직인 집합.

Orthonormal Sets

Definition: A set of vectors {\( \mathbf{u}_{1}, \ldots ,\mathbf{u}_{p}\)} in \(\mathbb{R}^{n}\) is an orthonormal set if it is an orthogonal set of unit vectors.

 

각각의 벡터들이 서로 수직이면서 Norm값이 1인 벡터들의 집합.

 

Is an orthogonal (or orthonormal) set also a linearly independent set? Yes.

What about its converse? No.

Orthogonal Basis and Orthonormal Basis

Consider basis {\( \mathbf{v}_{1}, \ldots ,\mathbf{v}_{p}\)} of a p-dimensional subsapce \(W\) in \(\mathbb{R}^{n}\).

 

Can we make it as an orthogonal (or orthonormal) basis?

Yes, it can be done by Gram-Schmidt process -> QR factorization(나중에 배움)

 

Given the orthogonal basis {\( \mathbf{v}_{1}, \ldots ,\mathbf{v}_{p}\)} of \(W\),

let's compute the orthogonal projection of \(\mathbf{y} \in \mathbb{R}^{n}\) onto \(W\).

 

어떠한 basis가 주어졌을때, basis를 이루는 벡터들간의 관계를 Orthogonal하도록 바꾸어줄수 있습니다. 이러한 기법으로 Gram-Schmidt process가 있습니다.

Orthogonal Projection \(\hat{\mathbf{y}}\) of \(\mathbf{y}\) onto Line

Consider the orthogonal projection \(\hat{\mathbf{y}}\) of \(\mathbf{y}\) onto one-dimensional subspace \(L\). 여기서 \(L\)은 벡터 \(\mathbf{u}\)의 Span입니다.

 

 

 

\(\mathbf{y}\)와 \(\mathbf{u}\)가 이루는 각도를 \(\theta\)라고 하겠습니다.

 

 

직각 삼각형이 보입니다.

먼저, \(\hat{\mathbf{y}}\)의 길이를 구해보도록 하겠습니다. 여기서, 갑자기 여기서 \(\hat{\mathbf{y}}\)의 길이를 구한다고? 라고 당황할 수 있지만 따라가봅시다.

  

중고등학교때 배운 직각 삼각형의 변의 길이 공식을 떠올려봅시다.

 

\(\hat{\mathbf{y}}\) 의 길이 = \( ||\mathbf{y}||\cos \theta \) 입니다.

 

지난 강의를 통해 두 벡터 \(\mathbf{y}\)와 \(\mathbf{u}\)의 내적은 \(\mathbf{y} \cdot \mathbf{u} = ||\mathbf{y}|| ||\mathbf{u}|| \cos \theta \)라는 것을 알고있습니다. 여기서, \(\hat{\mathbf{y}}\) 의 길이 =  \( ||\mathbf{y}||\cos \theta = \frac{\mathbf{y} \cdot \mathbf{u}}{||\mathbf{u}||} \)라는 것을 알 수 있습니다. 여기서 잠깐 쉬어줍시다.

 

\(\mathbf{u}\)와 \(\hat{\mathbf{y}}\)을 유심히 들여다 보면 서로 길이는 다르지만 방향이 같다는 것을 알 수 있습니다.

 

즉, \(\mathbf{u}\)에 적절한 스칼라값을 곱하여 \(\hat{\mathbf{y}}\)을 구할 수 있습니다.

 

다음은 적절한 스칼라값을 구하는 과정입니다.

 

먼저, \(\mathbf{u}\) 를 \(||\mathbf{u}||\)로 나누면 단위벡터가 됩니다. 그다음, \(||\hat{\mathbf{y}}||\)을 곱하면 \(\hat{\mathbf{y}}\)가 됩니다.

 

이를 수식으로 나타내면 다음과 같습니다.

 

\(\hat{\mathbf{y}} = \frac{ ||\hat{\mathbf{y}}|| }{||\mathbf{u}||} \mathbf{u} = \frac{ \mathbf{y} \cdot \mathbf{u} }{\mathbf{u} \cdot \mathbf{u}} \mathbf{u} \)

 

적절한 스칼라값은 \(\frac{ ||\hat{\mathbf{y}}|| }{||\mathbf{u}||}\)입니다.

 

수식으로 정리하면,

 

\(\hat{\mathbf{y}} = \mathsf{proj}_{L}\mathbf{y} = \frac{ \mathbf{y} \cdot \mathbf{u} }{\mathbf{u} \cdot \mathbf{u}} \mathbf{u} \) 입니다.

 

여기서 \(\mathbf{u}\)가 단위 벡터인 경우 \( \hat{\mathbf{y}} = \mathsf{proj}_{L}\mathbf{y} = (\mathbf{y} \cdot \mathbf{u}) \cdot \mathbf{u} \) 입니다.

Orthogonal Projection \(\hat{\mathbf{y}}\) of \(\mathbf{y}\) onto Plane

우리는 임의의 벡터를 Line이 아닌 2차원, 3차원, 4차원 이상의 Subspace에 사영을 내리는 경우도 생각할 수 있습니다.

 

임의의 벡터 \(\mathbf{y}\)를 2차원 평면 Subspace \(W = \mathsf{Span}\{\mathbf{u}_{1}, \mathbf{u}_{2}\}\)에 사영 내리고 사영된 벡터 \(\hat{\mathbf{y}}\)를 구해보겠습니다.

\(\hat{\mathbf{y}}\)는 \(\mathbf{y}\)를 \(\mathbf{u}_{1}\)에 정사영내린 벡터와 \(\mathbf{u}_{2}\)에 정사영내린 벡터를 더한 벡터와 동일합니다. 단, \(\mathbf{u}_{1}\)과 \(\mathbf{u}_{2}\)는 Orthogonal 해야합니다.