티스토리 뷰
몇 장 안돌려보고 낸 통계라 이 자료를 너무 맹신하시지는 말고 아 이정도 나오네 감만 익히는 정도로 이 글을 읽어주시길 바랍니다.
Task: Single Image Inference/Image Captioning
Prompt: 비밀
GPU: 8 A6000 GPUs
NVIDIA-SMI 로 보면 아래 처럼 나온다.
8bit으로 로드안했고 bfloat16으로 처리했을때 결과다.
Without Flash Attention 2


With Flash Attention 2


48기가 GPU 4대 정도면 Single Image + Text Prompt 케이스는 커버 가능하고, 여기에 weights 8bit 으로 Load하면 메모리 더 감소할테니까 더 낮은 메모리의 GPU로 가용 가능할 것으로 예상됨
처리속도는 입력 이미지 해상도, 인풋 프롬프트, 입력 이미지 및 인풋 프롬프트에 따라 생성되는 아웃풋 토큰의 길이 마다 다르긴할텐데 테스트한 이미지에서는 Flash Attention2 끄고 돌리면 한 90~150초 정도 걸리고 Flash Attention2 적용하고 돌리면 1장당 80~100초대 나온다.
성능만큼이나 메모리 사용량, 인퍼런스타임이 엄청나다...
https://huggingface.co/OpenGVLab/InternVL2_5-78B
OpenGVLab/InternVL2_5-78B · Hugging Face
InternVL2_5-78B [📂 GitHub] [📜 InternVL 1.0] [📜 InternVL 1.5] [📜 Mini-InternVL] [📜 InternVL 2.5] [🆕 Blog] [🗨️ Chat Demo] [🤗 HF Demo] [🚀 Quick Start] [📖 Documents] Introduction We are excited to introduce InternVL 2.5, an adva
huggingface.co
위 사이트에서 예제 코드 참고해서 실행했더니 에러나서 이슈랑 그에 대한 해결책을 담은 PR을 보내놨다.
https://github.com/huggingface/transformers/issues/35505
qwen2 rope device matching bug · Issue #35505 · huggingface/transformers
System Info transformers version: 4.47.1 Platform: Linux-5.15.0-125-generic-x86_64-with-glibc2.35 Python version: 3.11.10 Huggingface_hub version: 0.27.0 Safetensors version: 0.4.5 Accelerate versi...
github.com
https://github.com/huggingface/transformers/issues/35505
qwen2 rope device matching bug · Issue #35505 · huggingface/transformers
System Info transformers version: 4.47.1 Platform: Linux-5.15.0-125-generic-x86_64-with-glibc2.35 Python version: 3.11.10 Huggingface_hub version: 0.27.0 Safetensors version: 0.4.5 Accelerate versi...
github.com
'Deep Learning' 카테고리의 다른 글
나의 세 번째 허깅페이스 스페이스 InternVL2_5-8B (0) | 2025.01.06 |
---|---|
나의 두 번째 허깅페이스 스페이스 InternVL2_5-2B (0) | 2025.01.06 |
2025년 1월1일 기준 관심가져보면 좋을 거 같은 VLM InternVL2.5 (0) | 2025.01.01 |
Why are Visually-Grounded Language Models Bad at Image Classification? 왜 VLM 은 이미지 분류를 잘 못하는가? (0) | 2025.01.01 |
2025년 VLM모델의 Vision Encoder 트렌드 예상(스케일링, Native Resolution Processing) (0) | 2025.01.01 |
- Total
- Today
- Yesterday
- 백준 11437
- 자료구조
- C++ Deploy
- 가장 긴 증가하는 부분 수열
- 순열
- 이분탐색
- 인공지능을 위한 선형대수
- FairMOT
- ㅂ
- 문제집
- 백준 11053
- 조합
- cosine
- 파이참
- MOT
- 백트래킹
- Lowest Common Ancestor
- LCA
- 백준 1766
- 백준
- 단축키
- 위상 정렬 알고리즘
- PyCharm
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |