인공지능을 위한 선형대수 - CHAPTER 2.4 부분공간의 기저와 차원

www.edwith.org/linearalgebra4ai/lecture/23756/

[LECTURE] 부분공간의 기저와 차원 : edwith

Span and Subspace

A subspace \(H\) is defined as a subset of \(\mathbb{R}^{n}\) closed under linear combination

 

Subspace는 Subset과 유사한 의미를 갖습니다. Subset이긴 Subset인데 "무언가에 닫혀있다"라는 조건이 붙습니다. 예를 들어 어떤 Set에서 임의의 원소를 중복을 허용하여 두개 뽑아서 곱했을때 그 값이 Set에 항상 존재한다면 이때 우리는 해당 Set이 곱셈에 닫혀 있다라고 말할 수 있습니다. Subspace는 Linear Combination에 닫혀있습니다.

 

Span \(\{\mathbf{v}_{1}, \cdots, \mathbf{v}_{p}\}\) is always a subspace. Why?

\(\mathbf{u}_{1} = a_{1}\mathbf{v}_{1} + \cdots + a_{p}\mathbf{v}_{p}\) 
\(\mathbf{u}_{2} = b_{1}\mathbf{v}_{1} + \cdots + b_{p}\mathbf{v}_{p}\)
\(c\mathbf{u}_{1} + d\mathbf{u}_{2}= c(a_{1}\mathbf{v}_{1} + \cdots + a_{p}\mathbf{v}_{p}) + d(b_{1}\mathbf{v}_{1} + \cdots + b_{p}\mathbf{v}_{p}) = (ca_{1} +db_{1})\mathbf{v}_{1} + \cdots + (ca_{p} +db_{p})\mathbf{v}_{p} \)

 

Span은 Linear Combination에 닫혀있습니다. 그러므로, Span은 Subspace입니다.

Basis of a Subspace

A basis of a subspace \(H\) is a set of vectors that satiesfies both of the following:

Fully spans the ginven subspace \(H\)

Linearly independent (i.e., no redundancy)

 

In the previous example, where \(H = \mathsf{Span} \{\mathbf{v}_{1}, \mathbf{v}_{2}, \mathbf{v}_{3} \} \), \(\mathsf{Span} \{\mathbf{v}_{1}, \mathbf{v}_{2}\} \) forms a plane, but \(\mathbf{v}_{3} = 2\mathbf{v}_{1}+3\mathbf{v}_{2} \in \mathsf{Span} \{\mathbf{v}_{1}, \mathbf{v}_{2} \}\) is a basis of \(H\), but not \( \{\mathbf{v}_{1}, \mathbf{v}_{2}, \mathbf{v}_{3} \} \) nor \(\{\mathbf{v}_{1}\}\) is a basis.

Non-Uniquness of Basis

임의의 Subspace의 Basis는 Not Unique할 수 있습니다. 위 예시에서 \( \{\mathbf{v}_{1}, \mathbf{v}_{3} \} \)도 Basis가 될 수 있고 \( \{\mathbf{v}_{2}, \mathbf{v}_{3} \} \)도 Basis가 될 수 있습니다. 그러나 각 Basis의 Dimension은 Unique한 요소가 될 수 있습니다.

Dimension of Subspace

What is then unique, given a particular subspace \(H\)?

 

Even though different bases exist for \(H\), the number of vectors in any basis for \(H\) will be unique.

 

We call this number as the dimension of \(H\), denoted as dim \(H\).

 

In the previous example, the dimension of the plane is 2, meaning any basis for this subspace contains exactly two vectors.

Column Space of Matrix

The column space of a matrix \(A\) is the subspace spanned by the columns of \(A\).

We call the column space of \(A\) as Col \(A\).

$$A = \begin{bmatrix} 1 && 1 \\ 1 && 0 \\ 0 && 1 \end{bmatrix}$$

$$\mathbf{v}_{1} = \begin{bmatrix} 1 \\ 1 \\ 0 \end{bmatrix},\ \mathbf{v}_{2} = \begin{bmatrix} 1 \\ 0 \\ 1 \end{bmatrix} $$

$$ \mathsf{Col} \ A = \ \mathsf{Span}\{\mathbf{v}_{1}, \mathbf{v}_{2}\} $$

 

What is dim Col \(A\)? 2.

Matrix with Linearly Dependent Columns

Given \(A = \begin{bmatrix} 1 && 1 && 2 \\ 1 && 0 && 1 \\ 0 && 1 && 1 \end{bmatrix} \), note that \( \begin{bmatrix} 2 \\ 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 1 \\ 1 \\ 0 \end{bmatrix} + \begin{bmatrix} 1 \\ 0 \\ 1 \end{bmatrix} \),

 

i.e., the third column is a linear combination of the first two.  

$$ \mathsf{Col} \ A = \ \mathsf{Span}\{\mathbf{v}_{1}, \mathbf{v}_{2}\} $$

What is dim Col \(A\)? 2.

 

주어진 행렬을 Column Vectors로 표현했을때, 어느 한 Column Vector는 다른 Column Vector들의 Linear Combination으로 생성될 수 있습니다. 그러면 위 행렬의 Column Vector 들은 "Linear Dependent" 하다고 표현할 수 있습니다.

Rank of Matrix

The rank of a matrix \(A\), denoted by rank \(A\), is the dimension of the column space of \(A\):

rank \(A\) = dim Col \(A\)

 

Matrix의 Rank는 Matrix의 Colum Space의 Dimension을 의미합니다. Rank를 이용하면 해당 Matrix의 값이 Column 단위로 중복적인 벡터가 얼마나 포함되어 있는지에 대한 정도를 파악할 수 있습니다. 그리고, 이를 이용하여 중복성을 제거하면 데이터를 모델링함에 있어 유의미한 결과를 얻을 수 있습니다.