정말 내가 분명 gpu driver랑 cuda, cudnn 문제 없이 설치하고 설정 잘 해줬는데 onnxruntime-gpu 라이브러리에서 gpu인식이 제대로 안된다면

pip install 'onnxruntime-gpu<1.20'

 

2024년 11월10일 기준 분명 1.20버전이랑 1.19 버전이랑 recommended cuda, cudnn 버전이 큰 차이가 없어 보이는데 이상하게 1.20 버전으로 설치하면 cuda를 제대로 인식못한다.

 

참고로 pytorch/pytorch:2.4.1-cuda12.4-cudnn9-devel 이 이미지 base로 하다가 겪은 문제다.

 

https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html

NVIDIA - CUDA