인공지능을 위한 선형대수 - CHAPTER 2.7 전사함수와 일대일 함수

www.edwith.org/linearalgebra4ai/lecture/24128/

[LECTURE] 전사함수와 일대일함수 : edwith

ONTO and ONE-TO-ONE

ONTO 

전사함수(ONTO)는 공역(Co-domain) = 치역(Range)인 경우를 의미합니다.

 

Domain(정의역): Set of all the possible values of \(x\)

Co-domain(공역): Set of all the possible values of \(y\)

Image(상): a mapped output \(y\), given \(x\)

Range(치역): Set of all the output values mapped by each \(x\) in the domain

 

A mapping \(T : \mathbb{R}^{n} \rightarrow \mathbb{R}^{m}\) is said to be onto \(\mathbb{R}^{m}\) if each \(\mathbf{b} \in \mathbb{R}^{m}\) is the image of at least one \(\mathbf{x} \in \mathbb{R}^{n}\).

That is, the range is equal to the co-domain.

 

ONTO가 되기 위해서 적어도 정의역의 Dimension이 공역의 Dimension보다 같거나 커야 합니다.

\(T : \mathbb{R}^{3} \rightarrow \mathbb{R}^{2}\)는 ONTO가 될 수 있지만, \(T : \mathbb{R}^{2} \rightarrow \mathbb{R}^{3}\)은 ONTO가 절대 될 수 없습니다.

 

Neural Networks에서 입력 벡터보다 출력 벡터의 차원이 큰 Layer 혹은 Network를 설계하는 경우가 존재합니다.

대표적으로 GAN의 Encoder/Decoder, AutoEncoder 구조를 생각해볼 수 있습니다.

일반적으로 입력 벡터(\(\in \mathbb{R}^{n}\))보다 출력 벡터(\(\in \mathbb{R}^{m}\))의 차원이 더 큰(\( m > n \)) Layer들을 한데 묶어 Decoder라고 합니다. 그런데, 입력 벡터보다 출력 벡터의 차원이 더 큰 경우 ONTO가 될 수 없기 때문에 출력 벡터를 모두 커버할 수 없게됩니다. 하지만 몇몇 경우의 우리의 출력 벡터는 운이 좋게도 \(m\)차원의 공간상에서 \(m\)보다 작은 차원(3차원이였다면 2차원 평면)으로도 표현이 가능하게 됩니다.

ONE-TO-ONE

1대1 함수

A mapping \(T : \mathbb{R}^{n} \rightarrow \mathbb{R}^{m}\) is said to be one-to-one if each \(\mathbf{b} \in \mathbb{R}^{m}\) is the image of at most one \(\mathbf{x} \in \mathbb{R}^{n}\). That is, each output vector in the range is mapped by only one input vector, no more than that.

ONE-TO-ONE이 되기 위해서 적어도 정의역의 Dimension이 공역의 Dimension보다 같아야 합니다.

\(T : \mathbb{R}^{3} \rightarrow \mathbb{R}^{2}\)는 ONE-TO-ONE이 될 수 없지만, \(T : \mathbb{R}^{2} \rightarrow \mathbb{R}^{3}\)은 ONE-TO-ONE이 될 수 있습니다.

 

\(A \mathbf{x} = \mathbf{b}\) 일때, \(A\)가 Linearly Dependent하다면 정의역의 크기가 치역보다 커지게 됩니다. 즉, \(A \mathbf{x} = \mathbf{b}\)를 만족하는 \(\mathbf{x}\)의 갯수가 1개 이상으로 해당 Linear Transformation은 ONE-TO-ONE이 될 수 없습니다. 반대로, \(A\)가 Linearly Independent하다면 해당 Linear Transformation은 ONE-TO-ONE이 됩니다.

 

ONTO는 결국 MANY-TO-ONE으로도 생각할 수 있습니다. 입력 벡터와 출력 벡터간의 ONTO, ONE-TO-ONE 관계를 잘 생각해보면 Neural Network에서 Layer의 입력 벡터 및 출력 벡터의 차원 수에 따라 MANY-TO-ONE이 될 수 있을 것인지, ONE-TO-ONE이 될 수 있을 것인지를 예상해볼 수 있습니다.