InternVL2.5 78B 메모리 사용량은 얼마나 되고 인퍼런스 타임은 어느정도일까

몇 장 안돌려보고 낸 통계라 이 자료를 너무 맹신하시지는 말고 아 이정도 나오네 감만 익히는 정도로 이 글을 읽어주시길 바랍니다.

 

---

 

Task: Single Image Inference/Image Captioning

Prompt: 비밀

GPU: 8 A6000 GPUs

 

NVIDIA-SMI 로 보면 아래 처럼 나온다.

 

8bit으로 로드안했고 bfloat16으로 처리했을때 결과다.

 

Without Flash Attention 2

 

 

With Flash Attention 2

 

 

48기가 GPU 4대 정도면 Single Image + Text Prompt 케이스는 커버 가능하고, 여기에 weights 8bit 으로 Load하면 메모리 더 감소할테니까 더 낮은 메모리의 GPU로 가용 가능할 것으로 예상됨

---

처리속도는 입력 이미지 해상도, 인풋 프롬프트, 입력 이미지 및 인풋 프롬프트에 따라 생성되는 아웃풋 토큰의 길이 마다 다르긴할텐데 테스트한 이미지에서는 Flash Attention2 끄고 돌리면 한 90~150초 정도 걸리고 Flash Attention2 적용하고 돌리면 1장당 80~100초대 나온다.

 

성능만큼이나 메모리 사용량, 인퍼런스타임이 엄청나다...

---

 

https://huggingface.co/OpenGVLab/InternVL2_5-78B

OpenGVLab/InternVL2_5-78B · Hugging Face

 

위 사이트에서 예제 코드 참고해서 실행했더니 에러나서 이슈랑 그에 대한 해결책을 담은 PR을 보내놨다.

 

https://github.com/huggingface/transformers/issues/35505

qwen2 rope device matching bug · Issue #35505 · huggingface/transformers

https://github.com/huggingface/transformers/issues/35505

qwen2 rope device matching bug · Issue #35505 · huggingface/transformers