인공지능을 위한 선형대수 - CHAPTER 2.3 선형독립과 선형종속

www.edwith.org/linearalgebra4ai/lecture/23755/

[LECTURE] 선형독립과 선형종속 : edwith

Uniqueness of Solution for $A\mathbf{x}=\mathbf{b}$

The solution exists only when $\mathbf{b}\in$ Span $\{{\mathbf{a}}_1,{\mathbf{a}}_2,{\mathbf{a}}_3\}$.

$$\left[\begin{array}{c}60\\ 65\\ 55\end{array}\right]x_1+\left[\begin{array}{c}5.5\\ 5.0\\ 6.0\end{array}\right]x_2+\left[\begin{array}{c}1\\ 0\\ 1\end{array}\right]x_3=\left[\begin{array}{c}66\\ 74\\ 78\end{array}\right]$$

$${\mathbf{a}}_1{x}_1+{\mathbf{a}}_2{x}_2+{\mathbf{a}}_3{x}_3=\mathbf{b}$$

 

$\mathbf{b}\in$ Span $\{{\mathbf{a}}_1,{\mathbf{a}}_2,{\mathbf{a}}_3\}$일때, Linear System의 Solution 유무를 알 수 있습니다. 그렇지만, 해당 정보만으로는 Solution이 Unique한지, Not Unique한지는 알 수 없습니다.

 

Linear Independence를 알고나면 위 문제에 대해 대답을 할 수 있습니다.

Linear Independence

(Practical) Definition

Given a set of vectors ${\mathbf{v}}_{\mathbf{1}},\cdots ,{\mathbf{v}}_{\mathbf{p}}\in {\mathbb{R}}^n$, check if ${\mathbf{v}}_{\mathbf{j}}$ can be represented as a linear combination of the previous vectors $\{{\mathbf{v}}_{\mathbf{1}},{\mathbf{v}}_{\mathbf{2}},\dots ,{\mathbf{v}}_{\mathbf{j}\mathbf{-}\mathbf{1}}\}$ for $j=1,\dots ,p$, e.g.,

$${\mathbf{v}}_{\mathbf{j}}\in \mathsf{Span}\{{\mathbf{v}}_{\mathbf{1}},{\mathbf{v}}_{\mathbf{2}},\dots ,{\mathbf{v}}_{\mathbf{j}\mathbf{-}\mathbf{1}}\}\mathsf{for}\mathsf{some}j=1,\dots ,p?$$

If at least one such ${\mathbf{v}}_{\mathbf{j}}$ is found, then $\{{\mathbf{v}}_{\mathbf{1}},\cdots ,{\mathbf{v}}_{\mathbf{p}}\}$ is linearly dependent.

If no such ${\mathbf{v}}_{\mathbf{j}}$ is found, then $\{{\mathbf{v}}_{\mathbf{1}},\cdots ,{\mathbf{v}}_{\mathbf{p}}\}$ is linearly independent.

 

주어진 벡터들의 Set의 어느 한 벡터가 Span{나머지 벡터들}에 존재한다면 해당 벡터들의 Set은 linearly dependent하고, 그러한 벡터가 존재하지 않는다면 해당 벡터들의 Set은 linearly independent하다고 정의할 수 있습니다.

 

Span이 이루는 벡터의 차원이 n이고 Span을 구성하는 Set of Vectors의 Vector의 갯수가 n보다 큰 경우, 해당 Set of Vectors는 무조건 linearly dependent하다고 정의할 수 있습니다. 이는 Linear System에서 미지수의 갯수보다 방정식의 갯수가 적은 경우를 의미합니다. 이 경우, 무조건 해가 무수히 많이 존재하게 됩니다. 이 경우는 Set of vectors 가 linearly dependent한 경우와 같습니다.

 

Span이 이루는 벡터의 차원이 n이고 Span을 구성하는 Set of Vectors의 Vector의 갯수가 n보다 작은 경우, 해당 Set of Vectors는 linearly dependent 할 수도 있고, linearly independent 할 수도 있습니다.

(Formal) Definition

Consider $x_1{\mathbf{v}}_1+x_2{\mathbf{v}}_2+\cdots +x_p{\mathbf{v}}_p=\mathbf{b}=\mathbf{0}.$

 

Obviously, one solution is $\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_p\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ ⋮\\ 0\end{array}\right]$,

which we call a trivial(자명한, 하찮은) solution.

 

영벡터는 모든 Set of Vectors의 Span에 무조건 존재합니다.

 

${\mathbf{v}}_1,\cdots ,{\mathbf{v}}_p$ are linearly independent if this(=trivial solution) is the only solution.

${\mathbf{v}}_1,\cdots ,{\mathbf{v}}_p$ are linearly dependent if this system also has other non trivial solutions, e.g., at least one $x_i$ being nonzero.

 

Tivial Solution이 아닌 다른 Solution이 존재할때 식$x_1{\mathbf{v}}_1+x_2{\mathbf{v}}_2+\cdots +x_p{\mathbf{v}}_p=\mathbf{b}=\mathbf{0}.$을 전개해보면 어떤 벡터 = 나머지 벡터들의 Linear Combination 형태로 표현되므로 해당 Set of Vectors는 linearly dependent하게 됩니다.

Linear Dependence

A linearly dependent vector does not increase Span!

If ${\mathbf{v}}_3\in \mathsf{Span}\{{\mathbf{v}}_1,{\mathbf{v}}_2\}$,then

$$\mathsf{Span}\{{\mathbf{v}}_1,{\mathbf{v}}_2\}=\mathsf{Span}\{{\mathbf{v}}_1,{\mathbf{v}}_2,{\mathbf{v}}_3\}$$

Why?

Suppose ${\mathbf{v}}_3=d_1{\mathbf{v}}_1+d_2{\mathbf{v}}_2$, then the linear combination of ${\mathbf{v}}_1,{\mathbf{v}}_2,{\mathbf{v}}_3$ can be written as

$$c_1{\mathbf{v}}_1+c_2{\mathbf{v}}_2+c_3{\mathbf{v}}_p=(c_1+c_3{d}_1){\mathbf{v}}_1+(c_2+c_3{d}_2){\mathbf{v}}_2$$

which is also a linear combination of ${\mathbf{v}}_1,{\mathbf{v}}_2$.

Linear Dependence and Linear System Solution

$x_1{\mathbf{v}}_1+x_2{\mathbf{v}}_2+\cdots +x_p{\mathbf{v}}_p=\mathbf{b}=\mathbf{0}.$

 

이때, Trivial Solution외에 다른 Solution이 존재하면(= Linear Dependent하면), $\mathbf{b}\ne \mathbf{0}$일 때도 Solution이 Not Unique함이 성립됩니다.