[Open Source Contribution] lucidrains/ema-pytorch 기여

https://github.com/lucidrains/ema-pytorch/pull/12

print detailed error message by developer0hye · Pull Request #12 · lucidrains/ema-pytorch

 

ViT 태동기때 Transformer 코드를 기가 막히게 짜서 굉장히 주목을 많이 받은 lucidrains 님의 한 프로젝트에 기여를 했다.

 

내 모델에 적용 해보려니까 안돼서 에러 메시지를 보니까 진짜 문제를 출력해주지 않고 그냥 LazyLinear 쓰지마라! 이렇게만 나와가지고 이게 에러 메시지의 역할을 제대로 하는 건가 싶었다. 그래서 진짜 문제를 해결할 수 있는 에러 메시지를 출력하도록 수정을 했다.

 

근데 다른 논문들 보면 ema default로 가져가던데 이것도 그냥 가져다 쓴다고 성능이 더 잘나오는 거 같진 않다 특히 나의 경우 beta 값 튜닝이 좀 필요했다.