인공지능을 위한 선형대수 - CHAPTER 2.1 선형방정식과 선형시스템

www.edwith.org/linearalgebra4ai/lecture/19968/

[LECTURE] 선형방정식과 선형시스템 : edwith

본 게시글은 주재걸 교수님의 인공지능을 위한 선형대수 강의를 수강하고 관련 내용을 정리한 글입니다.

Linear Equation

방정식을 구성하는 각각의 항이 상수 또는 차수가 1인 변수와 계수와의 곱으로 구성되며, 이들의 합으로 표

현되는 방정식

 

$$a_{1}x_{1}+a_{2}x_{2}+\cdots+a_{n}x_{n}=b$$

Variables: \(x_{1}, x_{2}, \ldots, x_{n}\)

Coefficients: \(a_{1}, a_{2}, \ldots, a_{n}\)

Constant: \(b\)

 

Coefficients and constant are real or complex numbers that are usually known in advance.

 

위 방정식을 아래와 같이 벡터의 내적으로 표현하면 보다 간단하게 선형 방정식을 표현할 수 있습니다.

$$\mathbf{a}^{T}\mathbf{x}=b$$

where \(\mathbf{a}=\begin{bmatrix} a_{1} \\ a_{2} \\ \vdots \\ a_{n} \end{bmatrix}\) and \(\mathbf{x}=\begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \end{bmatrix}\).

Linear System: Set of Equations

Linear Equation 들의 집합, 연립 방정식을 의미합니다.

A system of linear equations (or a linear system) is a collection of one or more linear equations. 

 

The essential information of a linear system can be written compactly using a matrix.

In the following set of equations,

$$60x_{1}+5.5x_{2}+1 \cdot x_{3}=66$$

$$65x_{1}+5.0x_{2}+0 \cdot x_{3}=74$$

$$55x_{1}+6.0x_{2}+1 \cdot x_{3}=78$$

Let's collect all the coefficients on the left and form a matrix.

$$A=\begin{bmatrix} 60 & 5.5 & 1 \\ 65 & 5.0 & 0 \\ 55 & 6.0 & 1 \end{bmatrix}$$

Also, let's form two vectors: \(\mathbf{x}=\begin{bmatrix} x_{1} \\ x_{2} \\ x_{3} \end{bmatrix}\) and \(\mathbf{b}=\begin{bmatrix} 66 \\ 74 \\ 78 \end{bmatrix}\).

Multiple linear equations can be converted into a single matrix equation. $$A\mathbf{x}=\mathbf{b}$$

Identity Matrix

항등 행렬, 단위 행렬

A square matrix whose diagonal entries are all 1's, and all the other entries are zeros. Often, we denote it as \(I_{n} \in \mathbb{R}^{n \times n} \).

 

$$ I_{3}=\begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} $$

 

An identity matrix \(I_{n}\) preserves any vector \(x \in \mathbb{R^{3}} \) after multiplying \(\mathbf{x}\) by \(I_{n}\).

 

$$I_{n}\mathbf{x}=\mathbf{x}$$

Inverse Matrix

역행렬

For a square matrix \(A \in \mathbb{R}^{n \times n} \), its inverse matrix \(A^{-1}\) is defined such that

$$A^{-1}A=AA^{-1}=I_{n}$$

A such that B는 A에 대해 B를 만족한다로 해석하면 됩니다.

임의의 행렬 \(A\) 와  \(A\)의 역행렬 \(A^{-1}\) 는 행렬의 곱연산에 대해 교환법칙이 성립합니다.

Solving Linear System via Inverse Matrix

We can now solve \(A\mathbf{x}=\mathbf{b}\) as follows:
$$A\mathbf{x}=\mathbf{b}$$
$$A^{-1}A\mathbf{x}=A^{-1}\mathbf{b}$$
$$I_{n}\mathbf{x}=A^{-1}\mathbf{b}$$
$$\mathbf{x}=A^{-1}\mathbf{b}$$

 

위 식은 \(A\)가 역행렬이 존재할때만 성립합니다. 이때, \(\mathbf{x}\)는 무조건 Unique한 Solution을 가집니다.

Non-Invertible Matrix \(A\) for \(Ax=b\)

\(A\)의 Determinant가 0이 아니면 \(A\)는 Non-Invertible하고, 0이면 \(A\)는 Invertible합니다.

\(A\mathbf{x}=\mathbf{b}\)에 대해 \(A\)가 Non-Invertible 하다면 \(\mathbf{x}\)의 Solution은 존재하지 않거나 무수히 많이 존재할 수 있습니다.

 

저는 여태까지 행렬의 Determinant를 역행렬 존재 유무를 판단하기 위한 값으로만 생각하였습니다. 그런데, 강의에서 자세하게 나오지는 않았지만 강의를 듣고 나서, Determinant가 보다 중요한 의미(공간의 확대, 축소, 반전 등)를 가진다는 것을 알게됐습니다. 이와 관련하여 아래의 영상을 시청하시면 도움이 될 것 같습니다.