지속 가능한 꾸준함

비디오 입력 모델은 대개 디코딩된 비디오로부터 일정한 간격으로 N 프레임을 샘플링하고 이 샘플링된 프레임이 입력으로 들어간다. 그런데, 비디오 디코딩은 연산량이 많이 필요한 작업중에 하나이다. 그러다보니, 학습 과정에서 매 번 비디오를 Full 디코딩하고 거기서 또 프레임을 샘플링하는 것은 데이터 전처리 과정으로써 병목을 발생시키기 쉬운 작업이다. 그래서, 이러한 문제를 완화하고자 나는 `cache`라는 폴더를 생성하고, 학습 과정에서 비디오를 Full 디코딩하면서 학습에 사용되는 프레임들을 `cache/비디오 파일 이름/%05d.jpg` 이러한 형식으로 저장하게 했다. 다시 또 디코딩이 필요한 jpg로 저장한 이유는 numpy array로 바로 저장하기란 내 PC의 용량이 충분하지 않았다. 하지만, 여..

https://github.com/pytorch/ignite/pull/1027 Issue 856 : Enable multi params group for LRScheduler by sdesrozis · Pull Request #1027 · pytorch/ignite Fixes #856 Description: LRScheduler can handle scheduler based on optimizer with one param_groups. This PR enables multi param_groups of optimizer. The main modification is the return of the method... github.com warmup_end_value 를 None로 해두면 optimize..

https://github.com/ultralytics/ultralytics/commit/8940a27bdb26895f09a1554514a9a46312aa89c3 `ultralytics 8.0.114` automatic optimizer selection (#3037) · ultralytics/ultralytics@8940a27 Co-authored-by: pre-commit-ci[bot] Co-authored-by: Burhan github.com 모델이 업데이트 되는 이터레이션수에 따라서 그 수가 큰 경우 SGD를 사용하도록, 아닌 경우 AdamW로 optimizer 가 세팅되도록 바뀌었다. 꽤나 큰 변화 같아서 기록해둔다. 실험적 결과가 있는지 코멘트를 달기는 했다.

https://github.com/LAION-AI/CLIP_benchmark/blob/main/benchmark/results.ipynb GitHub - LAION-AI/CLIP_benchmark: CLIP-like model evaluation CLIP-like model evaluation. Contribute to LAION-AI/CLIP_benchmark development by creating an account on GitHub. github.com CLIP 모델(모델이라고 하는게 맞을까...? 아무튼)은 크게 OpenAI 에서 학습된 모델과 LAION 에서 학습된 모델이 존재한다. 각 모델별로 LAION 에서 벤치마크 결과를 정리해놓았다. 위 ipynb파일을 보면된다.

import timm model = timm.create_model('vit_small_patch32_384', pretrained=pretrained, num_classes=0, img_size=[640, 640]) img_size 를 정의해주면 된다. https://github.com/huggingface/pytorch-image-models/blob/main/timm/models/vision_transformer.py#L389 GitHub - huggingface/pytorch-image-models: PyTorch image models, scripts, pretrained weights -- ResNet, ResNeXT, EfficientNet, E PyTorch image models, scr..

https://paperswithcode.com/dataset/hockey-fight-detection-dataset Papers with Code - Hockey Fight Detection Dataset Dataset Whereas the action recognition community has focused mostly on detecting simple actions like clapping, walking or jogging, the detection of fights or in general aggressive behaviors has been comparatively less studied. Such capability may be extremely usef paperswithcode.co..

https://arxiv.org/abs/2203.01305 DN-DETR: Accelerate DETR Training by Introducing Query DeNoising We present in this paper a novel denoising training method to speedup DETR (DEtection TRansformer) training and offer a deepened understanding of the slow convergence issue of DETR-like methods. We show that the slow convergence results from the instabilit arxiv.org

제목에서 언급한 전처리 과정이란 학습과정에서 이미지를 배치데이터로 만들어주는, PyTorch 식 표현으로 collate 하는 과정을 의미한다. 학습 과정시에 transforms를 확인해보면, RandomResize Augmentation이 포함됨을 알 수 있다. 입력 이미지들을 하나의 배치 데이터로 만들어주기 위해서는 사이즈(c, h, w)가 같아야한다. 그런데 RandomResize가 들어가게되면 이 h, w 가 달라질 수 있다. 그래서, DETR에서는 배치 데이터로 만들어줄때, 하나의 배치내에서 가장 큰 h, w를 갖는 이미지를 찾고 그 이미지에 맞게 zero filled image 를 생성하고 거기에 이미지를 top-left 부터 복사한다. 그럼 max size보다 작은 이미지들은 right 과 b..

실험에 사용된 프로젝트 commit id: 243fc4b1fe214ff6c27759dad51c37809db8f7f8 https://github.com/ultralytics/ultralytics GitHub - ultralytics/ultralytics: NEW - YOLOv8 🚀 in PyTorch > ONNX > CoreML > TFLite NEW - YOLOv8 🚀 in PyTorch > ONNX > CoreML > TFLite - GitHub - ultralytics/ultralytics: NEW - YOLOv8 🚀 in PyTorch > ONNX > CoreML > TFLite github.com COCO dataset에 대해 validation 을 진행하여 f1 score가 best score를..

https://github.com/IDEA-Research/DINO =1.5.0 torchvision>=0.6.0 git+https://github.com/cocodataset/panopticapi.git#egg=panopticapi scipy termcolor addict yapf timm 4. Compiling CUDA operators 단계(gpu driver version: 531.61, cuda version: 11.4, pytorch cuda version: 11.7)에서 딱히 빌드 오류는 없었고 python test.py 실행시 메모리가 부족해서 메모리 사이즈 에러는 발생했다. 어쨌든 작은 인풋 사이즈(D= 30, 32, 64, 71) 에서 돌아갔으니 빌드는 잘 된것이니 무시해줬다. 그런 다..