Crowd Counting 목적으로 구축된 ShanghaiTech 데이터셋을 보면 A part/B part 로 데이터셋이 나누어져있다. 이는 목적은 같지만 데이터의 특징이 달라서 그런건데, A, B를 합쳐서 학습을 해보고 싶다는 생각이 들었다. 기존에 데이터셋 클래스를, A part 따로 B part 따로 읽을 수 있게 구현해놨는데 이걸 합쳐서 읽을 수 있게 내가 직접 구현할까 하다가 한 번 찾아봤다. 역시나 있더라... https://stackoverflow.com/a/67163131 Pytorch - Concatenating Datasets before using Dataloader I am trying to load two datasets and use them both for training. P..
https://github.com/mikwieczorek/centroids-reid GitHub - mikwieczorek/centroids-reid: On the Unreasonable Effectiveness of Centroids in Image Retrieval On the Unreasonable Effectiveness of Centroids in Image Retrieval - GitHub - mikwieczorek/centroids-reid: On the Unreasonable Effectiveness of Centroids in Image Retrieval github.com
https://github.com/pytorch/pytorch/pull/83139 Fix typo in norm_first description, respectivaly - > respectively by developer0hye · Pull Request #83139 · pytorch/pytorch Fix typo in norm_first description, respectivaly - > respectively Fixes #83138 github.com 최근에 Transformer를 어떻게든 실적용해보고 싶어서 사용해보던중에 PyTorch의 Transformer Layer의 주석에 오타가 있는것을 발견했다. 그래서 오타 한글자 수정하고 PR 날렸다. 그렇게 Contributor가 됐다. 별거 없다...
Weight Decay 관련 실험 해보다가 기록용으로 적음 yolov5 프로젝트 보면 weight decay를 Batch Normalization Layer 파라미터와 Bias 값들을 제외하고 적용하는 거를 확인할 수 있다. 재구현을 해볼때 이런 거 하나 하나가 되게 사소해보이는데 이런 거 하나 빼먹으면 성능 재현이 안되는 경우가 있다. (예를 들면 "weight decay 몇 레이어에 적용해주고 안해주고 차이가 그리 크겠어?"란 생각을 갖고 그냥 모든 파라미터 다 먹이면 되지~라는 식의 접근... 굉장히 위험하다. 나중에 성능 재현이 안돼서 이걸로 수일 수주 수개월의 시간을 쓸수도 있다...) 근데 yolov5 에서 adamw 를 optimizer로 사용하도록 세팅을 해줄 수가 있는데 뭔가 이상한 점을..
PyTorch에서 제공하는 AutoMixedPrecision 기능을 활용하여 모델을 학습하다 보면 학습이 잘 안되는 경우가 발생한다. 구글링을 해보면 이런 경우를 심심치 않게 찾아볼 수 있다. https://github.com/pytorch/pytorch/issues/40497 Mixed precision causes NaN loss · Issue #40497 · pytorch/pytorch 🐛 Bug I'm using autocast with GradScaler to train on mixed precision. For small dataset, it works fine. But when I trained on bigger dataset, after few epochs (3-4), the loss tu..
https://github.com/pytorch/pytorch/blob/46a88036afacad5aee5ba2640d6055051bb879a1/aten/src/ATen/native/Normalization.cpp#L189-L192 GitHub - pytorch/pytorch: Tensors and Dynamic neural networks in Python with strong GPU acceleration Tensors and Dynamic neural networks in Python with strong GPU acceleration - GitHub - pytorch/pytorch: Tensors and Dynamic neural networks in Python with strong GPU ac..
https://github.com/ptrblck/pytorch_misc/blob/31ac50c415f16cf7fec277dbdba72b9fb4d732d3/batch_norm_manual.py#L39 GitHub - ptrblck/pytorch_misc: Code snippets created for the PyTorch discussion board Code snippets created for the PyTorch discussion board - GitHub - ptrblck/pytorch_misc: Code snippets created for the PyTorch discussion board github.com
https://github.com/zhenghao977/FCOS-PyTorch-37.2AP/blob/2bfa4b6ca57358f52f7bc7b44f506608e99894e6/model/fcos.py#L22-L35 GitHub - zhenghao977/FCOS-PyTorch-37.2AP: A pure torch implement of FCOS 37.2AP A pure torch implement of FCOS 37.2AP. Contribute to zhenghao977/FCOS-PyTorch-37.2AP development by creating an account on GitHub. github.com def freeze_bn(module): if isinstance(module,nn.BatchNorm2..
PyTorch Lightning 기반으로 프로젝트를 구현중이다. Logger를 TensorBoard로 세팅하고 학습시키니 TensorBoard 파일에 hp metric이란 그래프가 떡하니 출력된다. 관련 글들을 좀 찾다보니 하이퍼 파라미터 서치에 도움을 주기 위한 그래프 같은데 굳이 출력할 필요가 없었다. 불필요한 정보가 출력되고 있으면 괜히 뭔가 마음이 불편하다. 근데 PyTorch Lightning이 캡슐화가 너무 잘 돼있다보니 어딜 건드려야 이 그래프를 지울 수 있는지 모르겠다... 구글링을 해보니 이미 나와 같은 생각을 하신 분이 계셨다. 해결법은 간단했다. TensorBoardLogger 클래스의 객체를 생성할때 함수인자 default_parameter 를 False로 세팅해주면 된다. logg..
- Total
- Today
- Yesterday
- 단축키
- MOT
- C++ Deploy
- Lowest Common Ancestor
- 파이참
- cosine
- 위상 정렬 알고리즘
- 순열
- 백준 11053
- 가장 긴 증가하는 부분 수열
- 백준
- 자료구조
- ㅂ
- LCA
- 인공지능을 위한 선형대수
- 백트래킹
- 백준 11437
- 조합
- 문제집
- PyCharm
- FairMOT
- 이분탐색
- 백준 1766
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |