Empirical Risk Minimization

Loss Function, Cost Function, Error는 머신 러닝, 딥 러닝 공부를 하다보면 익히 들어봤을 용어일 것입니다. 그런데, Empirical Risk는 어쩌면 생소한 용어일 수 있습니다.

 

Risk는 Error와 같으며, 여기서 Error는 Loss Function의 값을 의미합니다. 즉, 우리의 모델이 문제를 얼마나 잘풀어냈는지(낮을수록 좋음)를 정량적으로 나타낸 값입니다.

 

Empirical Risk는 우리가 가진 전체 데이터 샘플에 대한 Loss Function 의 평균값입니다. 즉, Cost Function 의 값과 동일합니다.

 

즉, Empirical Risk Minimization은 Empirical Risk를 Minimization 한다는 것으로 Cost Function을 Minimization 한다는 것과 동일한 의미를 갖습니다.