a10g 4x vs l40s 4x gpu 비교

아래는 챗지피티가 만들어준 표

 

항목 NVIDIA A10G NVIDIA L40S

출시 시기	2021	2023
아키텍처	Ampere (GA102)	Ada Lovelace (AD102)
FP32 성능	~31.2 TFLOPS	~91.6 TFLOPS
FP16 성능 (Tensor Core)	~125 TFLOPS (Sparsity 포함)	~1467 TFLOPS (Sparsity 포함)
INT8 성능 (Tensor Core)	~250 TOPS (Sparsity 포함)	~2935 TOPS (Sparsity 포함)
VRAM 용량	24 GB GDDR6	48 GB GDDR6
메모리 대역폭	600 GB/s	864 GB/s
TDP (전력 소비)	300W	350W
NVENC / NVDEC	2x NVENC / 1x NVDEC	2x NVENC (8세대) / 2x NVDEC
주용도	중급 AI 추론 / VDI / 렌더링	고성능 AI 학습 및 추론 / 3D 렌더링 / Omniverse 등

 

내가 학습시키는 모델과 데이터셋 기준으로는

 

l40s 4x gpu 세팅으로 1에폭당 30분 걸릴 게 a10g 4x gpu 세팅으로는 1에폭당 1시간30분 걸린다.

aws에서 해서 gpu만 바뀐 게 아니고 cpu, ram 도 아마 바뀌긴 했을텐데 어쨌든 이정도 2배 이상은 빠를거다라고 기대하면 될 거 같다.