인공지능을 위한 선형대수 - CHAPTER 2.2 선형결합

www.edwith.org/linearalgebra4ai/lecture/20102/

[LECTURE] 선형결합 : edwith

Linear Combinations

Given vectors $v_1$, $v_2$, $\cdots$,$v_p$ in ${\mathbb{R}}^n$ and given scalars $c_1$, $c_2$, $\cdots$,$c_p$,

$$c_1{v}_1+c_2{v}_2+\cdots +c_p{x}_p$$

is called a linear combination of  $v_1$, $v_2$, $\cdots$,$v_p$ with weights or coefficients $c_1$, $c_2$,$\cdots$,$c_p$.

 

The weights in a linear combination can be any real numbers, including zero.

Span

Given a set of vectors $v_1$, $v_2$, $\cdots$,$v_p$ in ${\mathbb{R}}^n$, Span {$v_1$, $v_2$, $\cdots$,$v_p$} is defined as the set of all linear combinations of $v_1$, $v_2$, $\cdots$,$v_p$.

 

The collection of all vectors that can be written in the form

$$c_1{v}_1+c_2{v}_2+\cdots +c_p{x}_p$$

with aribitrary scalars $c_1$, $c_2$, $\cdots$,$c_p$.

 

주어진 벡터들의 Linear Combination을 통해 만들 수 있는 모든 벡터들의 집합

From Matrix Equation to Vector Equation

$$60x_1+5.5x_2+1\cdot x_3=66$$

$$65x_1+5.0x_2+0\cdot x_3=74$$

$$55x_1+6.0x_2+1\cdot x_3=78$$

 

위와 같은 Linear System이 있을 때, Matrix 연산으로 표현할 수 있습니다.

$$\left[\begin{array}{ccc}60& 5.5& 1\\ 65& 5.0& 0\\ 55& 6.0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}66\\ 74\\ 78\end{array}\right]$$

그리고 위 식에서 좌변을 Vector 연산으로 표현할 수 있습니다.

$$\left[\begin{array}{c}60\\ 65\\ 55\end{array}\right]x_1+\left[\begin{array}{c}5.5\\ 5.0\\ 6.0\end{array}\right]x_2+\left[\begin{array}{c}1\\ 0\\ 1\end{array}\right]x_3=\left[\begin{array}{c}66\\ 74\\ 78\end{array}\right]$$

$$a_1{x}_1+a_2{x}_2+a_3{x}_3=b$$

where $a_1=\left[\begin{array}{c}60\\ 65\\ 55\end{array}\right]$, $a_2=\left[\begin{array}{c}5.5\\ 5.0\\ 6.0\end{array}\right]$, $a_3=\left[\begin{array}{c}1\\ 0\\ 1\end{array}\right]$, and $b=\left[\begin{array}{c}66\\ 74\\ 78\end{array}\right]$.

 

좌변만 보았을때 Linear Combination 형태로 표현됨을 알 수 있습니다. Span의 개념을 잘 생각해보면 해당 Linear System을 만족하는 Solution($x_1$, $x_2$, $x_3$)의 존재 여부를 판단할 수 있습니다.

 

Span{$a_1$, $a_2$, $a_3$}에 $b$가 존재할때, $a_1$, $a_2$, $a_3$에 대한 Linear Combination으로 $b$를 만들어낼 수 있다는 의미이며, 이는 Solution $x_1$, $x_2$, $x_3$가 존재한다는 의미이기 때문입니다. 반대의 경우 해당 Linear System은 Solution이 존재하지 않습니다.

Matrix Multiplications as Linear Combinations of Vectors

In spired by the vector equation, we can view \(A\mathbf{x}\) as a linear combination of columns of the left matrix:

$$\left[\begin{array}{ccc}60& 5.5& 1\\ 65& 5.0& 0\\ 55& 6.0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=A\mathbf{x}=\left[\begin{array}{ccc}{a}_1& a_2& a_3\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=a_1{x}_1+a_2{x}_2+a_3{x}_3$$

Matrix Multiplications as Column Combinations

Linear combinations of columns

Left matrix: bases(벡터의 집합으로 생각), Right matrix: coefficients

One column on the right

$$\left[\begin{array}{ccc}1& 1& 0\\ 1& 0& 1\\ 1& -1& 1\end{array}\right]\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]1+\left[\begin{array}{c}1\\ 0\\ -1\end{array}\right]2+\left[\begin{array}{c}0\\ 1\\ 1\end{array}\right]3$$

Left Matrix의 각 Column Vector를 Linear Combination을 구성하는 Vector로 볼 수 있으며, Right Vector의 각 원소를 Linear Combination의 Coefficients로 볼 수 있습니다. 그리고, 위 연산에 대해 Right Vector의 원소 값이 어떻게 변하든 결국 Left Matrix의 Column Vectors의 Span에 존재하게 됩니다.

Multi-columns on the right

$$\left[\begin{array}{ccc}1& 1& 0\\ 1& 0& 1\\ 1& -1& 1\end{array}\right]\left[\begin{array}{cc}1& -1\\ 2& 0\\ 3& 1\end{array}\right]=\left[\begin{array}{cc}{x}_1& y_1\\ x_2& y_2\\ x_3& y_3\end{array}\right]=\left[\begin{array}{cc}\mathbf{x}& \mathbf{y}\end{array}\right]$$

 

위 행렬곱을 Linear Combination 형태로 표현하면 아래의 식으로 표현할 수 있습니다.

$$x=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]1+\left[\begin{array}{c}1\\ 0\\ -1\end{array}\right]2+\left[\begin{array}{c}0\\ 1\\ 1\end{array}\right]3$$ 

$$y=\left[\begin{array}{c}{y}_1\\ y_2\\ y_3\end{array}\right]=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right](-1)+\left[\begin{array}{c}1\\ 0\\ -1\end{array}\right]0+\left[\begin{array}{c}0\\ 1\\ 1\end{array}\right]1$$

 

Left Matrix의 각 Column Vector를 Linear Combination을 구성하는 Vector로 볼 수 있으며 Right Matrix의 각 원소를 Linear Combination의 Coefficients로 볼 수 있습니다. 그리고, $x,y$는 Right Matrix의 원소 값이 어떻게 변하든 결국 Left Matrix의 Column Vectors의 Span에 존재하게 됩니다.

Matrix Multiplications as Row Combinations

Linear combinations of rows of the right matrix

Right matrix: bases, Left matrix: coefficients

One row on the left

$$\left[\begin{array}{ccc}1& 2& 3\end{array}\right]\left[\begin{array}{ccc}1& 1& 0\\ 1& 0& 1\\ 1& -1& 1\end{array}\right]=1\times \left[\begin{array}{ccc}1& 1& 0\end{array}\right]+2\times \left[\begin{array}{ccc}1& 0& 1\end{array}\right]+3\times \left[\begin{array}{ccc}1& -1& 1\end{array}\right]$$

좌변의 Left Vector는 Coefficients, Right Matrix의 각 Row Vector는 Linear Combination을 이루는 Vector로 여길 수 있습니다.

Multi-columns on the left

$$\left[\begin{array}{ccc}1& 2& 3\\ 1& 0& -1\end{array}\right]\left[\begin{array}{ccc}1& 1& 0\\ 1& 0& 1\\ 1& -1& 1\end{array}\right]=\left[\begin{array}{ccc}{x}_1& x_2& x_3\\ y_1& y_2& y_3\end{array}\right]=\left[\begin{array}{c}{\mathbf{x}}^T\\ {\mathbf{y}}^T\end{array}\right]$$

$${\mathbf{x}}^T=\left[\begin{array}{ccc}{x}_1& x_2& x_3\end{array}\right]=1\left[\begin{array}{ccc}1& 1& 0\end{array}\right]+2\left[\begin{array}{ccc}1& 0& 1\end{array}\right]+3\left[\begin{array}{ccc}1& -1& 1\end{array}\right]$$

$${\mathbf{y}}^T=\left[\begin{array}{ccc}{y}_1& y_2& y_3\end{array}\right]=1\left[\begin{array}{ccc}1& 1& 0\end{array}\right]+0\left[\begin{array}{ccc}1& 0& 1\end{array}\right]+(-1)\left[\begin{array}{ccc}1& -1& 1\end{array}\right]$$

좌변의 Left Matrix를 Coefficients, Right Matrix의 각 Row Vector는 Linear Combination을 이루는 Vector로 여길 수 있습니다.

Matrix Multiplications as Sum of (Rank-1) Outer Products

(Rank-1) outer product

$$\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]\left[\begin{array}{ccccc}1& & 2& & 3\end{array}\right]=\left[\begin{array}{ccc}1& 2& 3\\ 1& 2& 3\\ 1& 2& 3\end{array}\right]$$

$$a=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$$ 

$$b=\left[\begin{array}{ccc}1& 2& 3\end{array}\right]$$

Sum of (Rank-1) outer products

$$\left[\begin{array}{ccc}1& & 1\\ 1& & -1\\ 1& & 1\end{array}\right]\left[\begin{array}{ccccc}1& & 2& & 3\\ 4& & 5& & 6\end{array}\right]=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]\left[\begin{array}{ccccc}1& & 2& & 3\end{array}\right]+\left[\begin{array}{c}1\\ -1\\ 1\end{array}\right]\left[\begin{array}{ccccc}4& & 5& & 6\end{array}\right]$$ 

$$a=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right],b=\left[\begin{array}{ccc}1& 2& 3\end{array}\right],c=\left[\begin{array}{c}1\\ -1\\ 1\end{array}\right],d=\left[\begin{array}{ccc}4& 5& 6\end{array}\right]$$ 

$$\left[\begin{array}{ccc}a& & c\end{array}\right]\left[\begin{array}{c}b\\ d\end{array}\right]=ab+cd$$

행렬의 곱을 두 행렬의 Column Vectors와 Row Vectors간의 Outer Product와 그로부터 생성되는 Matrix의 합으로 표현할 수 있습니다.

 

PCA(Principal Component Analysis), SVD(Singular Vector Decomposition)등 Sum of (Rank-1) Outer Products의 개념을 기저에 두고 행렬을 특정 요소의 합으로 표현하는 방법이 많으므로 해당 내용을 이해하는 것이 중요합니다.