인공지능을 위한 선형대수 - CHAPTER 2.2 선형결합

www.edwith.org/linearalgebra4ai/lecture/20102/

[LECTURE] 선형결합 : edwith

Linear Combinations

Given vectors \(v_{1}\), \(v_{2}\), \(\cdots\),\(v_{p}\) in \( \mathbb{R}^{n} \) and given scalars \(c_{1}\), \(c_{2}\), \(\cdots\),\(c_{p}\),

$$c_{1}v_{1}+c_{2}v_{2}+\cdots+c_{p}x_{p}$$

is called a linear combination of  \(v_{1}\), \(v_{2}\), \(\cdots\),\(v_{p}\) with weights or coefficients \(c_{1}\), \(c_{2}\),\(\cdots\),\(c_{p}\).

 

The weights in a linear combination can be any real numbers, including zero.

Span

Given a set of vectors \(v_{1}\), \(v_{2}\), \(\cdots\),\(v_{p}\) in \( \mathbb{R}^{n} \), Span {\(v_{1}\), \(v_{2}\), \(\cdots\),\(v_{p}\)} is defined as the set of all linear combinations of \(v_{1}\), \(v_{2}\), \(\cdots\),\(v_{p}\).

 

The collection of all vectors that can be written in the form

$$c_{1}v_{1}+c_{2}v_{2}+\cdots+c_{p}x_{p}$$

with aribitrary scalars \(c_{1}\), \(c_{2}\), \(\cdots\),\(c_{p}\).

 

주어진 벡터들의 Linear Combination을 통해 만들 수 있는 모든 벡터들의 집합

From Matrix Equation to Vector Equation

$$60x_{1}+5.5x_{2}+1 \cdot x_{3}=66$$

$$65x_{1}+5.0x_{2}+0 \cdot x_{3}=74$$

$$55x_{1}+6.0x_{2}+1 \cdot x_{3}=78$$

 

위와 같은 Linear System이 있을 때, Matrix 연산으로 표현할 수 있습니다.

$$\begin{bmatrix} 60 & 5.5 & 1 \\ 65 & 5.0 & 0 \\ 55 & 6.0 & 1 \end{bmatrix} \begin{bmatrix} x_{1} \\ x_{2} \\ x_{3} \end{bmatrix} = \begin{bmatrix} 66 \\ 74 \\ 78 \end{bmatrix}$$

그리고 위 식에서 좌변을 Vector 연산으로 표현할 수 있습니다.

$$\begin{bmatrix} 60 \\ 65 \\ 55 \end{bmatrix}x_{1}+\begin{bmatrix} 5.5 \\ 5.0 \\ 6.0 \end{bmatrix}x_{2}+\begin{bmatrix} 1 \\ 0 \\ 1 \end{bmatrix}x_{3} = \begin{bmatrix} 66 \\ 74 \\ 78 \end{bmatrix}$$

$$a_{1}x_{1}+a_{2}x_{2}+a_{3}x_{3}=b$$

where \(a_{1}=\begin{bmatrix} 60 \\ 65 \\ 55 \end{bmatrix}\), \(a_{2}=\begin{bmatrix} 5.5 \\ 5.0 \\ 6.0 \end{bmatrix}\), \(a_{3}=\begin{bmatrix} 1\\ 0\\ 1\end{bmatrix}\), and \(b=\begin{bmatrix} 66 \\ 74 \\ 78 \end{bmatrix}\).

 

좌변만 보았을때 Linear Combination 형태로 표현됨을 알 수 있습니다. Span의 개념을 잘 생각해보면 해당 Linear System을 만족하는 Solution(\(x_{1}\), \(x_{2}\), \(x_{3}\))의 존재 여부를 판단할 수 있습니다.

 

Span{\(a_{1}\), \(a_{2}\), \(a_{3}\)}에 \(b\)가 존재할때, \(a_{1}\), \(a_{2}\), \(a_{3}\)에 대한 Linear Combination으로 \(b\)를 만들어낼 수 있다는 의미이며, 이는 Solution \(x_{1}\), \(x_{2}\), \(x_{3}\)가 존재한다는 의미이기 때문입니다. 반대의 경우 해당 Linear System은 Solution이 존재하지 않습니다.

Matrix Multiplications as Linear Combinations of Vectors

In spired by the vector equation, we can view \(A\mathbf{x}\) as a linear combination of columns of the left matrix:

$$\begin{bmatrix} 60 & 5.5 & 1 \\ 65 & 5.0 & 0 \\ 55 & 6.0 & 1 \end{bmatrix} \begin{bmatrix} x_{1} \\ x_{2} \\ x_{3} \end{bmatrix} = A\mathbf{x} = \begin{bmatrix} a_{1} & a_{2} & a_{3} \end{bmatrix} \begin{bmatrix} x_{1} \\ x_{2} \\ x_{3} \end{bmatrix} = a_{1}x_{1} + a_{2}x_{2} + a_{3}x_{3}$$

Matrix Multiplications as Column Combinations

Linear combinations of columns

Left matrix: bases(벡터의 집합으로 생각), Right matrix: coefficients

One column on the right

$$\begin{bmatrix} 1& 1 & 0 \\ 1 & 0 & 1 \\ 1 & -1 & 1 \end{bmatrix} \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix} = \begin{bmatrix} 1\\ 1\\ 1\end{bmatrix}1+\begin{bmatrix} 1 \\ 0 \\ -1 \end{bmatrix}2+\begin{bmatrix} 0 \\ 1 \\ 1 \end{bmatrix}3$$

Left Matrix의 각 Column Vector를 Linear Combination을 구성하는 Vector로 볼 수 있으며, Right Vector의 각 원소를 Linear Combination의 Coefficients로 볼 수 있습니다. 그리고, 위 연산에 대해 Right Vector의 원소 값이 어떻게 변하든 결국 Left Matrix의 Column Vectors의 Span에 존재하게 됩니다.

Multi-columns on the right

$$\begin{bmatrix} 1& 1 & 0 \\ 1 & 0 & 1 \\ 1 & -1 & 1 \end{bmatrix} \begin{bmatrix} 1& -1 \\ 2 & 0 \\ 3 & 1 \end{bmatrix} = \begin{bmatrix} x_{1}& y_{1} \\ x_{2} & y_{2} \\ x_{3} & y_{3} \end{bmatrix} = \begin{bmatrix}\mathbf{x} & \mathbf{y}\end{bmatrix}$$

 

위 행렬곱을 Linear Combination 형태로 표현하면 아래의 식으로 표현할 수 있습니다.

$$x=\begin{bmatrix} x_{1} \\ x_{2} \\ x_{3} \end{bmatrix}=\begin{bmatrix} 1\\ 1\\ 1\end{bmatrix}1+\begin{bmatrix} 1 \\ 0 \\ -1 \end{bmatrix}2+\begin{bmatrix} 0 \\ 1 \\ 1 \end{bmatrix}3$$ 

$$y=\begin{bmatrix} y_{1} \\ y_{2} \\ y_{3} \end{bmatrix}=\begin{bmatrix} 1\\ 1\\ 1\end{bmatrix}(-1)+\begin{bmatrix} 1 \\ 0 \\ -1 \end{bmatrix}0+\begin{bmatrix} 0 \\ 1 \\ 1 \end{bmatrix}1$$

 

Left Matrix의 각 Column Vector를 Linear Combination을 구성하는 Vector로 볼 수 있으며 Right Matrix의 각 원소를 Linear Combination의 Coefficients로 볼 수 있습니다. 그리고, \(x, y\)는 Right Matrix의 원소 값이 어떻게 변하든 결국 Left Matrix의 Column Vectors의 Span에 존재하게 됩니다.

Matrix Multiplications as Row Combinations

Linear combinations of rows of the right matrix

Right matrix: bases, Left matrix: coefficients

One row on the left

$$\begin{bmatrix} 1& 2 & 3 \end{bmatrix} \begin{bmatrix} 1& 1 & 0 \\ 1 & 0 & 1 \\ 1 & -1 & 1 \end{bmatrix} = 1 \times \begin{bmatrix} 1& 1 & 0 \end{bmatrix} + 2 \times \begin{bmatrix} 1& 0 & 1 \end{bmatrix} + 3 \times \begin{bmatrix} 1& -1 & 1 \end{bmatrix} $$

좌변의 Left Vector는 Coefficients, Right Matrix의 각 Row Vector는 Linear Combination을 이루는 Vector로 여길 수 있습니다.

Multi-columns on the left

$$\begin{bmatrix} 1& 2 & 3 \\ 1& 0 & -1  \end{bmatrix} \begin{bmatrix} 1& 1 & 0 \\ 1 & 0 & 1 \\ 1 & -1 & 1 \end{bmatrix} = \begin{bmatrix} x_{1}& x_{2} & x_{3} \\ y_{1}& y_{2} & y_{3}  \end{bmatrix} = \begin{bmatrix} \mathbf{x}^{T} \\ \mathbf{y}^{T}\end{bmatrix}$$

$$ \mathbf{x}^{T} = \begin{bmatrix} x_{1}& x_{2} & x_{3} \end{bmatrix} = 1\begin{bmatrix} 1& 1 & 0 \end{bmatrix} + 2\begin{bmatrix} 1& 0 & 1 \end{bmatrix} + 3\begin{bmatrix} 1& -1 & 1 \end{bmatrix}$$

$$ \mathbf{y}^{T} = \begin{bmatrix} y_{1}& y_{2} & y_{3} \end{bmatrix} = 1\begin{bmatrix} 1& 1 & 0 \end{bmatrix} + 0\begin{bmatrix} 1& 0 & 1 \end{bmatrix} + (-1)\begin{bmatrix} 1& -1 & 1 \end{bmatrix}$$

좌변의 Left Matrix를 Coefficients, Right Matrix의 각 Row Vector는 Linear Combination을 이루는 Vector로 여길 수 있습니다.

Matrix Multiplications as Sum of (Rank-1) Outer Products

(Rank-1) outer product

$$\begin{bmatrix} 1 \\ 1 \\ 1  \end{bmatrix} \begin{bmatrix} 1 && 2 && 3 \end{bmatrix} = \begin{bmatrix} 1& 2 & 3 \\ 1 & 2 & 3 \\ 1 & 2 & 3 \end{bmatrix}$$

$$a=\begin{bmatrix} 1 \\ 1 \\ 1  \end{bmatrix}$$ 

$$b=\begin{bmatrix} 1 & 2 & 3  \end{bmatrix}$$

Sum of (Rank-1) outer products

$$\begin{bmatrix} 1 && 1 \\ 1 && -1 \\ 1 && 1 \end{bmatrix} \begin{bmatrix} 1 && 2 && 3 \\ 4 && 5 && 6 \end{bmatrix} = \begin{bmatrix} 1 \\ 1 \\ 1  \end{bmatrix} \begin{bmatrix} 1 && 2 && 3 \end{bmatrix} + \begin{bmatrix} 1 \\ -1 \\ 1  \end{bmatrix} \begin{bmatrix} 4 && 5 && 6 \end{bmatrix}$$ 

$$a=\begin{bmatrix} 1 \\ 1 \\ 1  \end{bmatrix}, b=\begin{bmatrix} 1 & 2 & 3  \end{bmatrix}, c=\begin{bmatrix} 1 \\ -1 \\ 1  \end{bmatrix}, d=\begin{bmatrix} 4 & 5 & 6  \end{bmatrix}$$ 

$$\begin{bmatrix} a && c  \end{bmatrix} \begin{bmatrix} b \\ d  \end{bmatrix} = ab + cd $$

행렬의 곱을 두 행렬의 Column Vectors와 Row Vectors간의 Outer Product와 그로부터 생성되는 Matrix의 합으로 표현할 수 있습니다.

 

PCA(Principal Component Analysis), SVD(Singular Vector Decomposition)등 Sum of (Rank-1) Outer Products의 개념을 기저에 두고 행렬을 특정 요소의 합으로 표현하는 방법이 많으므로 해당 내용을 이해하는 것이 중요합니다.