[Open Source Contribution] YOLOv8(ultralytics/ultralytics) 기여 #13

https://github.com/ultralytics/ultralytics/pull/2549

add pre-caching stage to avoid nccl timeout by developer0hye · Pull Request #2549 · ultralytics/ultralytics

 

DDP setup 후 특정 timeout 시간(= 기본 30)분동안 통신이 없으면 timeout error가 발생함

 

특히 yolov8 학습 단계에서 dataset size가 큰 경우 데이터 로드 과정에서 timeout error가 발생하기 쉬움

 

이를 방지하기위하여 DDP setup 전에 dataset caching 되도록 수정

 

근데... 테스트 안해보고 올렸었고 이를 명시했고 테스트 후에 알려주겠다고 했는데 덥썩 머지가 됐다.

 

아무튼 다시 테스트 해봐야지...

 

관련 이슈

 

https://github.com/ultralytics/yolov5/issues/7481

NCCL timeout problem on DPP · Issue #7481 · ultralytics/yolov5