티스토리 뷰
ONNX Runtime: Ort::detail::SessionImpl< T > Struct Template Reference
#include std::vector< Value > Run (const RunOptions &run_options, const char *const *input_names, const Value *input_values, size_t input_count, const char *const *output_names, size_t output_count) Run the model returning results in an Ort allocated ve
onnxruntime.ai
Run 함수가 오버로딩 돼서 3개가 존재한다.
예제 찾아보면 아래 두개가 좀 많이 보였던 거 같다.
찾아본 이유는 ONNXRuntime + C++ + GPU(CUDA) 로 특정 모델을 추론할때 동일한 인풋을 넣음에도 불구하고 값이 크게 다르게 출력되는 문제가 발생해서인데... 설명 읽어보니 위 두 방법(directly return output vector vs return results in user provided ouputs) 어차피 같은 값을 리턴한다는 거 같다. 도대체 원인을 모르겠다. 일단 배포시 사용하는 버전 말고 비교적 최신 버전(onnxruntime 1.14 + cuda 11.6 + cudnn 8.4)으로 해봤을때는 문제가 발생하지 않는 거 같다... 버전업이 답인가... 전처리가 문제인가...
ONNXRuntime 이나 TensorRT나 이러한 Non-deterministic behaviour 문제가 발생할때 참 갑갑하다.
'기타' 카테고리의 다른 글
| 20230706 므찌다를 이해하는 챗지피티 (1) | 2023.07.06 |
|---|---|
| OpenCV 4.8.0 릴리즈 (0) | 2023.06.30 |
| 20230618 테니스 13 번째 레슨 (0) | 2023.06.25 |
| 20230531 챗지피티(챗군)에게 비디오 전처리 과정 맡기기 (0) | 2023.05.31 |
| 20230525 챗지피티한테 폭언을 듣다. (0) | 2023.05.25 |
- Total
- Today
- Yesterday
- 이분탐색
- FairMOT
- MOT
- ㅂ
- 조합
- 가장 긴 증가하는 부분 수열
- 문제집
- LCA
- 백준
- 자료구조
- 인공지능을 위한 선형대수
- 백트래킹
- 순열
- 백준 11053
- 파이참
- 백준 1766
- 단축키
- PyCharm
- 백준 11437
- cosine
- C++ Deploy
- 위상 정렬 알고리즘
- Lowest Common Ancestor
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 | 31 |