티스토리 뷰
[Open Source Contribution] YOLOv8(ultralytics/ultralytics) 기여 #14
developer0hye 2023. 5. 15. 20:02https://developer0hye.tistory.com/567
[Open Source Contribution] YOLOv8(ultralytics/ultralytics) 기여 #13
https://github.com/ultralytics/ultralytics/pull/2549 add pre-caching stage to avoid nccl timeout by developer0hye · Pull Request #2549 · ultralytics/ultralytics 🤖 Generated by Copilot at 4d14f7e Summary 🚀🐛🧹 This pull request improves DDP comp
developer0hye.tistory.com
이전 pr때 머지된게 문제가 있어서 revert 당함
그래서 2트!
https://github.com/ultralytics/ultralytics/pull/2616
Pre-caching dataset to avoid NCCL timeout before running DDP command by developer0hye · Pull Request #2616 · ultralytics/ultra
🤖 Generated by Copilot at a5caa27 Summary 🚀🛡️🗄️ This pull request improves the DDP training mode by pre-caching the dataset in trainer.py to prevent NCCL timeout errors. NCCL may fail pre-cache t...
github.com
수정내역만 보면 굉장히 별거아니지만, 어떻게하면 기존 코드 수정 최대한 덜하면서 caching을 할 수 있을지 생각과 시도를 많이 해봤다.
그리고... ddp nccl timeout이 init_process_group을 호출해주지 않아도, torchrun이나 python -m torch.distributed.launch 으로 실행해버리는 순간부터 timeout 체크를 위한 시간 측정이 시작되는 거 같다.
'Contribution 일지' 카테고리의 다른 글
- Total
- Today
- Yesterday
- 백준
- 자료구조
- 인공지능을 위한 선형대수
- cosine
- 백트래킹
- Lowest Common Ancestor
- ㅂ
- FairMOT
- 백준 11053
- 단축키
- 조합
- LCA
- 문제집
- 백준 1766
- 이분탐색
- 순열
- MOT
- 백준 11437
- 위상 정렬 알고리즘
- PyCharm
- 파이참
- 가장 긴 증가하는 부분 수열
- C++ Deploy
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |