인공지능을 위한 선형대수 - CHAPTER 2.7 전사함수와 일대일 함수

www.edwith.org/linearalgebra4ai/lecture/24128/

[LECTURE] 전사함수와 일대일함수 : edwith

ONTO and ONE-TO-ONE

ONTO 

전사함수(ONTO)는 공역(Co-domain) = 치역(Range)인 경우를 의미합니다.

 

Domain(정의역): Set of all the possible values of $x$

Co-domain(공역): Set of all the possible values of $y$

Image(상): a mapped output $y$, given $x$

Range(치역): Set of all the output values mapped by each $x$ in the domain

 

A mapping $T:{\mathbb{R}}^n\to {\mathbb{R}}^m$ is said to be onto ${\mathbb{R}}^m$ if each $\mathbf{b}\in {\mathbb{R}}^m$ is the image of at least one $\mathbf{x}\in {\mathbb{R}}^n$.

That is, the range is equal to the co-domain.

 

ONTO가 되기 위해서 적어도 정의역의 Dimension이 공역의 Dimension보다 같거나 커야 합니다.

$T:{\mathbb{R}}^3\to {\mathbb{R}}^2$는 ONTO가 될 수 있지만, $T:{\mathbb{R}}^2\to {\mathbb{R}}^3$은 ONTO가 절대 될 수 없습니다.

 

Neural Networks에서 입력 벡터보다 출력 벡터의 차원이 큰 Layer 혹은 Network를 설계하는 경우가 존재합니다.

대표적으로 GAN의 Encoder/Decoder, AutoEncoder 구조를 생각해볼 수 있습니다.

일반적으로 입력 벡터($\in {\mathbb{R}}^n$)보다 출력 벡터($\in {\mathbb{R}}^m$)의 차원이 더 큰($m>n$) Layer들을 한데 묶어 Decoder라고 합니다. 그런데, 입력 벡터보다 출력 벡터의 차원이 더 큰 경우 ONTO가 될 수 없기 때문에 출력 벡터를 모두 커버할 수 없게됩니다. 하지만 몇몇 경우의 우리의 출력 벡터는 운이 좋게도 $m$차원의 공간상에서 $m$보다 작은 차원(3차원이였다면 2차원 평면)으로도 표현이 가능하게 됩니다.

ONE-TO-ONE

1대1 함수

A mapping $T:{\mathbb{R}}^n\to {\mathbb{R}}^m$ is said to be one-to-one if each $\mathbf{b}\in {\mathbb{R}}^m$ is the image of at most one $\mathbf{x}\in {\mathbb{R}}^n$. That is, each output vector in the range is mapped by only one input vector, no more than that.

ONE-TO-ONE이 되기 위해서 적어도 정의역의 Dimension이 공역의 Dimension보다 같아야 합니다.

$T:{\mathbb{R}}^3\to {\mathbb{R}}^2$는 ONE-TO-ONE이 될 수 없지만, $T:{\mathbb{R}}^2\to {\mathbb{R}}^3$은 ONE-TO-ONE이 될 수 있습니다.

 

$A\mathbf{x}=\mathbf{b}$ 일때, $A$가 Linearly Dependent하다면 정의역의 크기가 치역보다 커지게 됩니다. 즉, $A\mathbf{x}=\mathbf{b}$를 만족하는 $\mathbf{x}$의 갯수가 1개 이상으로 해당 Linear Transformation은 ONE-TO-ONE이 될 수 없습니다. 반대로, $A$가 Linearly Independent하다면 해당 Linear Transformation은 ONE-TO-ONE이 됩니다.

 

ONTO는 결국 MANY-TO-ONE으로도 생각할 수 있습니다. 입력 벡터와 출력 벡터간의 ONTO, ONE-TO-ONE 관계를 잘 생각해보면 Neural Network에서 Layer의 입력 벡터 및 출력 벡터의 차원 수에 따라 MANY-TO-ONE이 될 수 있을 것인지, ONE-TO-ONE이 될 수 있을 것인지를 예상해볼 수 있습니다.