지속 가능한 꾸준함

Crowd Counting 목적으로 구축된 ShanghaiTech 데이터셋을 보면 A part/B part 로 데이터셋이 나누어져있다. 이는 목적은 같지만 데이터의 특징이 달라서 그런건데, A, B를 합쳐서 학습을 해보고 싶다는 생각이 들었다. 기존에 데이터셋 클래스를, A part 따로 B part 따로 읽을 수 있게 구현해놨는데 이걸 합쳐서 읽을 수 있게 내가 직접 구현할까 하다가 한 번 찾아봤다. 역시나 있더라... https://stackoverflow.com/a/67163131 Pytorch - Concatenating Datasets before using Dataloader I am trying to load two datasets and use them both for training. P..

음... onnxruntime 1.13 부터인가 정확히는 모르겠는데 onnxruntime을 1.13으로 올리니 GetInputName 과 GetOutputName 이 없다고 오류난다. api가 변경됐다. Name뒤에 Allocated가 붙었다. 찾아보니 기존의 GetInputName 과 GetOutputName 이 메모리 leak 나기 쉬워서 변경됐다는 거 같다. 그래서 기존의 코드에서 GetInputName 과 GetOutputName 을 GetInputNameAllocated 과 GetOutputNameAllocated 로 바꿨는데 빌드 안된다. 반환형도 살짝 바뀌었고 또 이에 맞춰 수정은 해서 빌드는 됐는데 실행해보니 input name이랑 output name을 출력해보니 엉뚱한 값들이 출력됐다...

YOLOv5 모델은 torch.hub.load를 이용하여 Load 가능하다. https://colab.research.google.com/github/ultralytics/yolov5/blob/master/tutorial.ipynb#scrollTo=GMusP4OAxFu6 YOLOv5 Tutorial Run, share, and edit Python notebooks colab.research.google.com # YOLOv5 PyTorch HUB Inference (DetectionModels only) import torch model = torch.hub.load('ultralytics/yolov5', 'yolov5s', force_reload=True) # yolov5n - yolov5x6 or ..

https://github.com/openai/CLIP GitHub - openai/CLIP: Contrastive Language-Image Pretraining Contrastive Language-Image Pretraining. Contribute to openai/CLIP development by creating an account on GitHub. github.com CLIP 모델 파인튜닝 해보려니 1 iteration 학습하니까 바로 Loss가 nan이 뜬다. 당황해서 이슈 찾아보니 이슈가 있었다. https://github.com/openai/CLIP/issues/40 NaN values after a single gradient step · Issue #40 · openai/CLIP ..

요새 NAS(Neural Architecture Search) 마냥 real world dataset 에 대한 BS(Backbone Search)를 진행하고 있다. 실험 해보니, 백본마다 transfer learning시 성능이 크게 다르다. 대체로 모델들 끼리 성능을 봐볼때 이미지넷상에서의 성능을 척도로 이 모델이 좋다 저 모델이 좋다고 주장한다. 나아가서 detection, segmentation, transfer learning등 광범위한 실험을 근거자료로 제시한다. 근데, 실제로 real world dataset으로 이 백본, 저 백본 다 돌려보면 막상 다양한 태스크, 데이터셋에서 성능이 잘나왔다는 모델도 그렇게 성능이 안나오는 경우가 많았다. 또 어떤 백본은 freeze 시켜야 성능이 잘나오고,..

x -= .5 x /= .5 위 처럼 코드 짰으면 아래 처럼 수정하자 x = x-.5 x = x/.5 torchvision.transforms.Normalize 를 모델에 집어넣었다가 변환시 토치 모델과 크게 상이한 값을 반환하는 문제가 발생했다. 이또한 torchvision.transforms.Normalize 의 함수 파라미터인 inplace 를 False 로 주니 해결됐다. torchvision.transforms.Normalize(..., inplace=False)

https://github.com/mikwieczorek/centroids-reid GitHub - mikwieczorek/centroids-reid: On the Unreasonable Effectiveness of Centroids in Image Retrieval On the Unreasonable Effectiveness of Centroids in Image Retrieval - GitHub - mikwieczorek/centroids-reid: On the Unreasonable Effectiveness of Centroids in Image Retrieval github.com

PyTorch 개발자들에게 swin 사용법은 3가지 정도가 있을 거 같다. 1. Official swin project 갖다 쓰기 https://github.com/microsoft/Swin-Transformer

https://github.com/pytorch/pytorch/pull/83139 Fix typo in norm_first description, respectivaly - > respectively by developer0hye · Pull Request #83139 · pytorch/pytorch Fix typo in norm_first description, respectivaly - > respectively Fixes #83138 github.com 최근에 Transformer를 어떻게든 실적용해보고 싶어서 사용해보던중에 PyTorch의 Transformer Layer의 주석에 오타가 있는것을 발견했다. 그래서 오타 한글자 수정하고 PR 날렸다. 그렇게 Contributor가 됐다. 별거 없다...

Weight Decay 관련 실험 해보다가 기록용으로 적음 yolov5 프로젝트 보면 weight decay를 Batch Normalization Layer 파라미터와 Bias 값들을 제외하고 적용하는 거를 확인할 수 있다. 재구현을 해볼때 이런 거 하나 하나가 되게 사소해보이는데 이런 거 하나 빼먹으면 성능 재현이 안되는 경우가 있다. (예를 들면 "weight decay 몇 레이어에 적용해주고 안해주고 차이가 그리 크겠어?"란 생각을 갖고 그냥 모든 파라미터 다 먹이면 되지~라는 식의 접근... 굉장히 위험하다. 나중에 성능 재현이 안돼서 이걸로 수일 수주 수개월의 시간을 쓸수도 있다...) 근데 yolov5 에서 adamw 를 optimizer로 사용하도록 세팅을 해줄 수가 있는데 뭔가 이상한 점을..