티스토리 뷰

Deep Learning/PyTorch

[PyTorch] Mish 메모리 이슈

developer0hye 2021. 2. 26. 18:16

github.com/ultralytics/yolov3/issues/1098

 

Memory Friendly Mish() Activation · Issue #1098 · ultralytics/yolov3

Hello, I tried yolov4.cfg on 2080Ti with input size 448*448, the training runs out of cuda memory even with batch size = 8 Have you tried the largest batch size value which won't break the cuda...

github.com

 

Mish activiation function을 사용하면 메모리 사용량이 크게 증가하는 것으로 보인다. Single Gpu에서 학습 가능한 모델을 만듦에 있어 Mish의 사용은 지양해야겠다.

 

댓글
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
«   2025/01   »
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31
글 보관함