지속 가능한 꾸준함

몇 장 안돌려보고 낸 통계라 이 자료를 너무 맹신하시지는 말고 아 이정도 나오네 감만 익히는 정도로 이 글을 읽어주시길 바랍니다.  Task: Single Image Inference/Image CaptioningPrompt: 비밀GPU: 8 A6000 GPUs NVIDIA-SMI 로 보면 아래 처럼 나온다. 8bit으로 로드안했고 bfloat16으로 처리했을때 결과다. Without Flash Attention 2  With Flash Attention 2  48기가 GPU 4대 정도면 Single Image + Text Prompt 케이스는 커버 가능하고, 여기에 weights 8bit 으로 Load하면 메모리 더 감소할테니까 더 낮은 메모리의 GPU로 가용 가능할 것으로 예상됨처리속도는 입력 이미지..