20230813 SAM 논문 읽다가... weight decay

음... 대체로 논문을 보면 weight decay 를 높게 세팅하는 경우가 좀 있는 거 같다. 당장 다른 논문이 생각안나지만, 당장 pytorch adamw 의 weight decay parameter 의 default 값이 0.01 로 세팅 돼있다.

 

 

0.01 이랑 0.1 이란 수치가 높은 값이냐 작은 값이냐는 따질 수 없지만 내가 개인적으로 실험을 해봤을때는 0.01 보다 크게 설정했을때 적어도 validation set 에서는 성능이 저하되는 경우가 많았던 거 같다. 그런데 sam은 wd 값을 0.1 로 세팅했다고 하니 다시 한 번 이에대한 실험을 진행해봐야겠다.