huggingface transformers pipeline gpu 지정해서 모델 load하는 방법
예시) 2, 3번 gpu 에만 모델 업로드하고 싶다 그러면 import os 를 최상단에 해주고 visible devices를 아래와 같이 정의하면 된다.(정확히는 최상단에 해주기보다 gpu가 사용되는 라이브러리 import 전에 해줄 것!) import osos.environ["CUDA_VISIBLE_DEVICES"] = "2, 3"import transformers... 꼭 저렇게 하드코딩 할 필요는 없어 보이고 python실행할때 붙여줘도 될 거 같다.CUDA_VISIBLE_DEVICES=2,3 python ~ device_map 은 그냥 "auto" 로 놔두면 된다. 더 좋은 방법이 있을 거 같은데 일단 이렇게 해서 됐다.
Deep Learning
2024. 11. 6. 21:00
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- cosine
- 백준 11053
- 백준 11437
- PyCharm
- 위상 정렬 알고리즘
- Lowest Common Ancestor
- 파이참
- 문제집
- 자료구조
- MOT
- 백준 1766
- LCA
- 백준
- ㅂ
- 순열
- 백트래킹
- 가장 긴 증가하는 부분 수열
- 단축키
- 조합
- 인공지능을 위한 선형대수
- 이분탐색
- C++ Deploy
- FairMOT
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
글 보관함