CNN 류 모델들은 GPU 메모리 사용량을 최대치에 가깝게 사용할때 학습 속도(수렴 X, Latency O)가 빨랐는데, Transformer 류 모델들은 GPU 메모리를 여유있게(한 75%?...) 배치 사이즈를 설정해야 속도가 빠른 거 같다. 아닌가.. CUDA 코어 사용량 때문인가... v100이나 a100 같은 gpu로는 학습을 안시켜봐서 모르겠다. 적어도 rtx 3070, titan rtx 에서는 이런 현상을 경험할 수 있었다.
https://github.com/cap-ntu/ML-Model-CI/issues/37 onnxruntime how to to specify a GPU device? · Issue #37 · cap-ntu/ML-Model-CI I'm afraid this is an issue that we cannot specify a GPU device to test. Currently, we limited the GPU usage by setting flag os.environ["CUDA_VISIBLE_DEVICES"]="0" in the server, but I think that's... github.com import onnxruntime as ort model_path = '' providers = [ ('C..
https://github.com/developer0hye/onepose GitHub - developer0hye/onepose: Human pose estimation within one line Human pose estimation within one line. Contribute to developer0hye/onepose development by creating an account on GitHub. github.com 현 시점(20231005)에서 SOTA 에 준하는 성능을 기록한 모델인 ViTPose 를 아주 사용하기 쉽게 파이썬 패키지화 해보았다. 설치 명령어는 아래와 같다. pip install git+https://github.com/developer0hye/onepose.git 다음..
https://arxiv.org/pdf/2204.07370.pdf LSP, FLIC, MPII, COCO, AIC-HKD, CrowdedPose, PennAction, J-HMDB, HiEve, and PoseTrack mmpose 데이터셋 관련 config 파일 모음 폴더 https://github.com/open-mmlab/mmpose/tree/main/configs/_base_/datasets
https://onnxruntime.ai/docs/execution-providers/TensorRT-ExecutionProvider.html#c-api-example NVIDIA - TensorRT Instructions to execute ONNX Runtime on NVIDIA GPUs with the TensorRT execution provider onnxruntime.ai 20230725 기준 ONNXRuntime Official Docs 에 안내된 TensorRT 사용법으로는 TensorRT를 완전히 활용할 수 없는 걸로 파악된다. 여기서 완전히 활용 못한다는 의미는 Dynamic Batch 사이즈를 갖는 데이터에 대한 Inference 를 의미한다. 왜냐! 처음에 모델 Build할때 min..
https://github.com/developer0hye/onnxruntime-cuda-cpp-example/blob/main/examples/dynamic_batch_yolov8.cpp 테스트 모델: YOLOv8n Class Score 가 0.25 이상인 바운딩 박스만 출력 CPU Output size: 6 x1: 0.0581711 y1: 254.459 x2: 32.5574 y2: 324.874 score: 0.255069 class_id: 11 class_name: stopsign x1: 19.2957 y1: 230.079 x2: 793.328 y2: 756.118 score: 0.870351 class_id: 5 class_name: bus x1: 669.096 y1: 393.621 x2: 809..
onnx 모델에는 operations 뿐만아니라 metadata 도 저장할 수 있다. 이를 잘 활용하면 하나의 onnx 파일로 별도의 config 파일 없이도 손쉽게 모델을 배포할 수 있을 것이다. 이를 C++ 에서 읽어올 수 있는 방법은 아래와 같다. *onnxruntime 1.15.1 기준이다. #include #include #include #include #include #include #include #include #include #include #include #include int main(int argc, char *argv[]) { std::string model_file = "/app/models/yolov8n.onnx"; Ort::Env env(ORT_LOGGING_LEVEL_WAR..
https://developer0hye.tistory.com/593 [ONNXRuntime] Ort::detail::SessionImpl::Run 에 대하여 https://onnxruntime.ai/docs/api/c/struct_ort_1_1detail_1_1_session_impl.html#af3f7d273f5e468ef21ef0d56d48c32fd ONNX Runtime: Ort::detail::SessionImpl Struct Template Reference #include std::vector Run (const RunOptions &run_options, const cha developer0hye.tistory.com 위 글에서 ONNXRuntime Outp..
- Total
- Today
- Yesterday
- 백준
- 인공지능을 위한 선형대수
- MOT
- 단축키
- FairMOT
- 문제집
- 백준 1766
- 순열
- 조합
- 백준 11437
- 위상 정렬 알고리즘
- 자료구조
- LCA
- cosine
- Lowest Common Ancestor
- 이분탐색
- 백준 11053
- C++ Deploy
- PyCharm
- 백트래킹
- 파이참
- ㅂ
- 가장 긴 증가하는 부분 수열
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |