지속 가능한 꾸준함

1. Non-DDP 코드를 Claude에게 던지며 구현하라고 시킨다.2. 지적한다.3. 지적한다.4. 괜히 시비건다.5. 잠깐 다른길로 새어본다.6. 혼낸다.7. 또 혼낸다.8. 괜히 시비건다.9. 괜히 시비건다.10. torchrun ~ 으로 실행시킨다. 11. 된다. 와 옛날에 copilot, chatgpt, claude 없을때는 며칠을 애먹었던 건데... 이렇게 손쉽게 되다니... 세상 너무 편해졌다!

Crowd Counting 목적으로 구축된 ShanghaiTech 데이터셋을 보면 A part/B part 로 데이터셋이 나누어져있다. 이는 목적은 같지만 데이터의 특징이 달라서 그런건데, A, B를 합쳐서 학습을 해보고 싶다는 생각이 들었다. 기존에 데이터셋 클래스를, A part 따로 B part 따로 읽을 수 있게 구현해놨는데 이걸 합쳐서 읽을 수 있게 내가 직접 구현할까 하다가 한 번 찾아봤다. 역시나 있더라... https://stackoverflow.com/a/67163131 Pytorch - Concatenating Datasets before using Dataloader I am trying to load two datasets and use them both for training. P..

https://github.com/mikwieczorek/centroids-reid GitHub - mikwieczorek/centroids-reid: On the Unreasonable Effectiveness of Centroids in Image Retrieval On the Unreasonable Effectiveness of Centroids in Image Retrieval - GitHub - mikwieczorek/centroids-reid: On the Unreasonable Effectiveness of Centroids in Image Retrieval github.com

PyTorch 개발자들에게 swin 사용법은 3가지 정도가 있을 거 같다. 1. Official swin project 갖다 쓰기 https://github.com/microsoft/Swin-Transformer

https://github.com/pytorch/pytorch/pull/83139 Fix typo in norm_first description, respectivaly - > respectively by developer0hye · Pull Request #83139 · pytorch/pytorch Fix typo in norm_first description, respectivaly - > respectively Fixes #83138 github.com 최근에 Transformer를 어떻게든 실적용해보고 싶어서 사용해보던중에 PyTorch의 Transformer Layer의 주석에 오타가 있는것을 발견했다. 그래서 오타 한글자 수정하고 PR 날렸다. 그렇게 Contributor가 됐다. 별거 없다...

Weight Decay 관련 실험 해보다가 기록용으로 적음 yolov5 프로젝트 보면 weight decay를 Batch Normalization Layer 파라미터와 Bias 값들을 제외하고 적용하는 거를 확인할 수 있다. 재구현을 해볼때 이런 거 하나 하나가 되게 사소해보이는데 이런 거 하나 빼먹으면 성능 재현이 안되는 경우가 있다. (예를 들면 "weight decay 몇 레이어에 적용해주고 안해주고 차이가 그리 크겠어?"란 생각을 갖고 그냥 모든 파라미터 다 먹이면 되지~라는 식의 접근... 굉장히 위험하다. 나중에 성능 재현이 안돼서 이걸로 수일 수주 수개월의 시간을 쓸수도 있다...) 근데 yolov5 에서 adamw 를 optimizer로 사용하도록 세팅을 해줄 수가 있는데 뭔가 이상한 점을..

PyTorch에서 제공하는 AutoMixedPrecision 기능을 활용하여 모델을 학습하다 보면 학습이 잘 안되는 경우가 발생한다. 구글링을 해보면 이런 경우를 심심치 않게 찾아볼 수 있다. https://github.com/pytorch/pytorch/issues/40497 Mixed precision causes NaN loss · Issue #40497 · pytorch/pytorch 🐛 Bug I'm using autocast with GradScaler to train on mixed precision. For small dataset, it works fine. But when I trained on bigger dataset, after few epochs (3-4), the loss tu..

https://github.com/pytorch/pytorch/blob/46a88036afacad5aee5ba2640d6055051bb879a1/aten/src/ATen/native/Normalization.cpp#L189-L192 GitHub - pytorch/pytorch: Tensors and Dynamic neural networks in Python with strong GPU acceleration Tensors and Dynamic neural networks in Python with strong GPU acceleration - GitHub - pytorch/pytorch: Tensors and Dynamic neural networks in Python with strong GPU ac..

https://github.com/ptrblck/pytorch_misc/blob/31ac50c415f16cf7fec277dbdba72b9fb4d732d3/batch_norm_manual.py#L39 GitHub - ptrblck/pytorch_misc: Code snippets created for the PyTorch discussion board Code snippets created for the PyTorch discussion board - GitHub - ptrblck/pytorch_misc: Code snippets created for the PyTorch discussion board github.com

https://github.com/zhenghao977/FCOS-PyTorch-37.2AP/blob/2bfa4b6ca57358f52f7bc7b44f506608e99894e6/model/fcos.py#L22-L35 GitHub - zhenghao977/FCOS-PyTorch-37.2AP: A pure torch implement of FCOS 37.2AP A pure torch implement of FCOS 37.2AP. Contribute to zhenghao977/FCOS-PyTorch-37.2AP development by creating an account on GitHub. github.com def freeze_bn(module): if isinstance(module,nn.BatchNorm2..