인공지능을 위한 선형대수 - CHAPTER 2.3 선형독립과 선형종속

www.edwith.org/linearalgebra4ai/lecture/23755/

[LECTURE] 선형독립과 선형종속 : edwith

Uniqueness of Solution for \(A\mathbf{x}= \mathbf{b}\)

The solution exists only when \(\mathbf{b} \in \) Span \( \{\mathbf{a}_{1}, \mathbf{a}_{2}, \mathbf{a}_{3} \} \).

$$\begin{bmatrix} 60 \\ 65 \\ 55 \end{bmatrix}x_{1}+\begin{bmatrix} 5.5 \\ 5.0 \\ 6.0 \end{bmatrix}x_{2}+\begin{bmatrix} 1 \\ 0 \\ 1 \end{bmatrix}x_{3} = \begin{bmatrix} 66 \\ 74 \\ 78 \end{bmatrix}$$

$$\mathbf{a}_{1}x_{1}+\mathbf{a}_{2}x_{2}+\mathbf{a}_{3}x_{3}=\mathbf{b}$$

 

\(\mathbf{b} \in \) Span \( \{\mathbf{a}_{1}, \mathbf{a}_{2}, \mathbf{a}_{3} \} \)일때, Linear System의 Solution 유무를 알 수 있습니다. 그렇지만, 해당 정보만으로는 Solution이 Unique한지, Not Unique한지는 알 수 없습니다.

 

Linear Independence를 알고나면 위 문제에 대해 대답을 할 수 있습니다.

Linear Independence

(Practical) Definition

Given a set of vectors \(\mathbf{v_{1}}, \cdots, \mathbf{v_{p}} \in \mathbb{R}^{n} \), check if \(\mathbf{v_{j}}\) can be represented as a linear combination of the previous vectors \(\{\mathbf{v_{1}}, \mathbf{v_{2}}, \ldots,  \mathbf{v_{j-1}}  \}\) for \(j = 1,\ldots, p\), e.g.,

$$ \mathbf{v_{j}} \in \mathsf{Span} \{\mathbf{v_{1}}, \mathbf{v_{2}}, \ldots,  \mathbf{v_{j-1}} \} \mathsf{\ for \  some} \  j = 1, \ldots , p? $$

If at least one such \(\mathbf{v_{j}}\) is found, then \(\{\mathbf{v_{1}}, \cdots, \mathbf{v_{p}}\}\) is linearly dependent.

If no such \(\mathbf{v_{j}}\) is found, then \(\{\mathbf{v_{1}}, \cdots, \mathbf{v_{p}}\}\) is linearly independent.

 

주어진 벡터들의 Set의 어느 한 벡터가 Span{나머지 벡터들}에 존재한다면 해당 벡터들의 Set은 linearly dependent하고, 그러한 벡터가 존재하지 않는다면 해당 벡터들의 Set은 linearly independent하다고 정의할 수 있습니다.

 

Span이 이루는 벡터의 차원이 n이고 Span을 구성하는 Set of Vectors의 Vector의 갯수가 n보다 큰 경우, 해당 Set of Vectors는 무조건 linearly dependent하다고 정의할 수 있습니다. 이는 Linear System에서 미지수의 갯수보다 방정식의 갯수가 적은 경우를 의미합니다. 이 경우, 무조건 해가 무수히 많이 존재하게 됩니다. 이 경우는 Set of vectors 가 linearly dependent한 경우와 같습니다.

 

Span이 이루는 벡터의 차원이 n이고 Span을 구성하는 Set of Vectors의 Vector의 갯수가 n보다 작은 경우, 해당 Set of Vectors는 linearly dependent 할 수도 있고, linearly independent 할 수도 있습니다.

(Formal) Definition

Consider \(x_{1}\mathbf{v}_{1} + x_{2}\mathbf{v}_{2} + \cdots + x_{p}\mathbf{v}_{p} = \mathbf{b} = \mathbf{0}.\)

 

Obviously, one solution is \(\mathbf{x}= \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{p} \end{bmatrix}=\begin{bmatrix} 0 \\ 0 \\ \vdots \\ 0 \end{bmatrix}\),

which we call a trivial(자명한, 하찮은) solution.

 

영벡터는 모든 Set of Vectors의 Span에 무조건 존재합니다.

 

\( \mathbf{v}_{1}, \cdots, \mathbf{v}_{p}\) are linearly independent if this(=trivial solution) is the only solution.

\( \mathbf{v}_{1}, \cdots, \mathbf{v}_{p}\) are linearly dependent if this system also has other non trivial solutions, e.g., at least one \(x_{i}\) being nonzero.

 

Tivial Solution이 아닌 다른 Solution이 존재할때 식\(x_{1}\mathbf{v}_{1} + x_{2}\mathbf{v}_{2} + \cdots + x_{p}\mathbf{v}_{p} = \mathbf{b} = \mathbf{0}.\)을 전개해보면 어떤 벡터 = 나머지 벡터들의 Linear Combination 형태로 표현되므로 해당 Set of Vectors는 linearly dependent하게 됩니다.

Linear Dependence

A linearly dependent vector does not increase Span!

If \( \mathbf{v}_{3} \in \ \mathsf{Span}\{\mathbf{v}_{1}, \mathbf{v}_{2}\} \),then

$$\mathsf{Span}\{\mathbf{v}_{1}, \mathbf{v}_{2}\} = \mathsf{Span}\{\mathbf{v}_{1}, \mathbf{v}_{2}, \mathbf{v}_{3}\}$$

Why?

Suppose \(\mathbf{v}_{3} = d_{1}\mathbf{v}_{1} + d_{2}\mathbf{v}_{2}\), then the linear combination of \(\mathbf{v}_{1}, \mathbf{v}_{2}, \mathbf{v}_{3}\) can be written as

$$c_{1}\mathbf{v}_{1} + c_{2}\mathbf{v}_{2} + c_{3}\mathbf{v}_{p} = (c_{1} + c_{3}d_{1})\mathbf{v}_{1} + (c_{2} + c_{3}d_{2})\mathbf{v}_{2}$$

which is also a linear combination of \(\mathbf{v}_{1}, \mathbf{v}_{2}\).

Linear Dependence and Linear System Solution

\(x_{1}\mathbf{v}_{1} + x_{2}\mathbf{v}_{2} + \cdots + x_{p}\mathbf{v}_{p} = \mathbf{b} = \mathbf{0}.\)

 

이때, Trivial Solution외에 다른 Solution이 존재하면(= Linear Dependent하면), \(\mathbf{b} \ne \mathbf{0}\)일 때도 Solution이 Not Unique함이 성립됩니다.