onnxruntime inference 예제를 찾아보면 거의 input은 cpu에서 pre-processing한 numpy array(on cpu)를 session.run 함수의 입력으로 주는 경우가 많습니다. 그치만 실제로는 pre-processing도 GPU에서 하고 이걸 굳이 cpu 로 내려서 입력하는 일은 없는 게 일반적일겁니다. GPU, CPU 업로드, 다운로드 횟수는 줄일 수 있으면 최대한 줄여야 하는 아주 악의 축 같은 작업입니다. 특히 input 사이즈가 큰데 GPU 업로드 했다 CPU로 다운로드 했다 하다보면 차라리 CPU로 구현하는 것만 못한 속도가 나올겁니다. 그래서, GPU에 있는 데이터를 바로 추론할 수 있어야 합니다! onnxruntime 은 당연히 이런 기능을 제공하고 있습니다..
https://github.com/obss/sahi/pull/1002 remove an unused list in postprocess by developer0hye · Pull Request #1002 · obss/sahi Remove unused list in greedy_nmm function. github.com https://github.com/obss/sahi/pull/1002/files remove an unused list in postprocess by developer0hye · Pull Request #1002 · obss/sahi Remove unused list in greedy_nmm function. github.com SAHI 에서 쓰인 Patch 단위의 Detection 결..
https://www.notateslaapp.com/software-updates/version/2024.3.10/release-notes 2024.3.10 Official Tesla Release Notes - Software Updates Tesla software update 2024.3.10 (FSD Supervised 12.3.3) includes FSD (Supervised) v12.3.3, Full Self-Driving (Supervised), Autopark, Improved Driving Visualization, Time Until Charging Starts, Estimated Battery Range Update, Supercharging in Cold Weather, www.no..
- Total
- Today
- Yesterday
- 인공지능을 위한 선형대수
- LCA
- MOT
- 백준
- 문제집
- 자료구조
- 백준 1766
- 단축키
- 가장 긴 증가하는 부분 수열
- 파이참
- 순열
- 백준 11053
- 이분탐색
- ㅂ
- 조합
- 위상 정렬 알고리즘
- FairMOT
- 백트래킹
- cosine
- C++ Deploy
- PyCharm
- 백준 11437
- Lowest Common Ancestor
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |