Video Action Recognition 모델 개발하다가...

비디오(=여러 프레임)를 입력으로 하는 모델의 경우 학습하는데 요구되는 메모리 사용량이 너무 높다. PyTorch의 amp 기능덕에, 그리고 이 기능이 동작하게 GPU를 제작한 Nvidia덕에 아주 조금 숨통 틔이게는 할 수는 있지만... 쉽지 않은 거 같다.

 

점차 비디오 기반의 모델들이 많이 나올 거 같은데, 지금의 메인스트림급 GPU에서는 이를 트레이닝 하기가 쉽지 않은 거 같다. 점점 메모리가 큰 GPU가 출시될 거 같은데... 비싸서 집에는 들이기 힘들 거 같고 FP8 연산이 지원되는 메인스트림급 GPU가 어서 나왔으면한다.

 

https://arxiv.org/abs/2209.05433

FP8 Formats for Deep Learning