인공지능을 위한 선형대수 - CHAPTER 2.4 부분공간의 기저와 차원

www.edwith.org/linearalgebra4ai/lecture/23756/

[LECTURE] 부분공간의 기저와 차원 : edwith

Span and Subspace

A subspace $H$ is defined as a subset of ${\mathbb{R}}^n$ closed under linear combination

 

Subspace는 Subset과 유사한 의미를 갖습니다. Subset이긴 Subset인데 "무언가에 닫혀있다"라는 조건이 붙습니다. 예를 들어 어떤 Set에서 임의의 원소를 중복을 허용하여 두개 뽑아서 곱했을때 그 값이 Set에 항상 존재한다면 이때 우리는 해당 Set이 곱셈에 닫혀 있다라고 말할 수 있습니다. Subspace는 Linear Combination에 닫혀있습니다.

 

Span $\{{\mathbf{v}}_1,\cdots ,{\mathbf{v}}_p\}$ is always a subspace. Why?

${\mathbf{u}}_1=a_1{\mathbf{v}}_1+\cdots +a_p{\mathbf{v}}_p$ 
${\mathbf{u}}_2=b_1{\mathbf{v}}_1+\cdots +b_p{\mathbf{v}}_p$
$c{\mathbf{u}}_1+d{\mathbf{u}}_2=c(a_1{\mathbf{v}}_1+\cdots +a_p{\mathbf{v}}_p)+d(b_1{\mathbf{v}}_1+\cdots +b_p{\mathbf{v}}_p)=(c{a}_1+d{b}_1){\mathbf{v}}_1+\cdots +(c{a}_p+d{b}_p){\mathbf{v}}_p$

 

Span은 Linear Combination에 닫혀있습니다. 그러므로, Span은 Subspace입니다.

Basis of a Subspace

A basis of a subspace $H$ is a set of vectors that satiesfies both of the following:

Fully spans the ginven subspace $H$

Linearly independent (i.e., no redundancy)

 

In the previous example, where $H=\mathsf{Span}\{{\mathbf{v}}_1,{\mathbf{v}}_2,{\mathbf{v}}_3\}$, $\mathsf{Span}\{{\mathbf{v}}_1,{\mathbf{v}}_2\}$ forms a plane, but ${\mathbf{v}}_3=2{\mathbf{v}}_1+3{\mathbf{v}}_2\in \mathsf{Span}\{{\mathbf{v}}_1,{\mathbf{v}}_2\}$ is a basis of $H$, but not $\{{\mathbf{v}}_1,{\mathbf{v}}_2,{\mathbf{v}}_3\}$ nor $\{{\mathbf{v}}_1\}$ is a basis.

Non-Uniquness of Basis

임의의 Subspace의 Basis는 Not Unique할 수 있습니다. 위 예시에서 $\{{\mathbf{v}}_1,{\mathbf{v}}_3\}$도 Basis가 될 수 있고 $\{{\mathbf{v}}_2,{\mathbf{v}}_3\}$도 Basis가 될 수 있습니다. 그러나 각 Basis의 Dimension은 Unique한 요소가 될 수 있습니다.

Dimension of Subspace

What is then unique, given a particular subspace $H$?

 

Even though different bases exist for $H$, the number of vectors in any basis for $H$ will be unique.

 

We call this number as the dimension of $H$, denoted as dim $H$.

 

In the previous example, the dimension of the plane is 2, meaning any basis for this subspace contains exactly two vectors.

Column Space of Matrix

The column space of a matrix $A$ is the subspace spanned by the columns of $A$.

We call the column space of $A$ as Col $A$.

$$A=\left[\begin{array}{ccc}1& & 1\\ 1& & 0\\ 0& & 1\end{array}\right]$$

$${\mathbf{v}}_1=\left[\begin{array}{c}1\\ 1\\ 0\end{array}\right],{\mathbf{v}}_2=\left[\begin{array}{c}1\\ 0\\ 1\end{array}\right]$$

$$\mathsf{Col}A=\mathsf{Span}\{{\mathbf{v}}_1,{\mathbf{v}}_2\}$$

 

What is dim Col $A$? 2.

Matrix with Linearly Dependent Columns

Given $A=\left[\begin{array}{ccccc}1& & 1& & 2\\ 1& & 0& & 1\\ 0& & 1& & 1\end{array}\right]$, note that $\left[\begin{array}{c}2\\ 1\\ 1\end{array}\right]=\left[\begin{array}{c}1\\ 1\\ 0\end{array}\right]+\left[\begin{array}{c}1\\ 0\\ 1\end{array}\right]$,

 

i.e., the third column is a linear combination of the first two.  

$$\mathsf{Col}A=\mathsf{Span}\{{\mathbf{v}}_1,{\mathbf{v}}_2\}$$

What is dim Col $A$? 2.

 

주어진 행렬을 Column Vectors로 표현했을때, 어느 한 Column Vector는 다른 Column Vector들의 Linear Combination으로 생성될 수 있습니다. 그러면 위 행렬의 Column Vector 들은 "Linear Dependent" 하다고 표현할 수 있습니다.

Rank of Matrix

The rank of a matrix $A$, denoted by rank $A$, is the dimension of the column space of $A$:

rank $A$ = dim Col $A$

 

Matrix의 Rank는 Matrix의 Colum Space의 Dimension을 의미합니다. Rank를 이용하면 해당 Matrix의 값이 Column 단위로 중복적인 벡터가 얼마나 포함되어 있는지에 대한 정도를 파악할 수 있습니다. 그리고, 이를 이용하여 중복성을 제거하면 데이터를 모델링함에 있어 유의미한 결과를 얻을 수 있습니다.