20230422 이번 연도 뭐할까

비전쪽으로는 Masked autoencoder 방법과 DETR 을 좀 유심히 봐보려고한다.

 

MAE(Masked autoencoder) 는 최근 핫한 Meta의 SAM(Segment Anything Model)이 MAE 로 사전학습한 모델 기반이라는 것과 이전에 리뷰했던 "Exploring Plain Vision Transformer Backbones for Object Detection" 논문에서 MAE가 성능의 핵심 요소 중 하나로 보여서 흥미가 생겼다.

 

요즘 2d object detection 분야에서 DETR을 기반으로한 방법들이 COCO 벤치마크에서 최상위권을 차지하고 있는 상황이다. 그런데 DETR이 Realtime object detector를 지향하고 개발되지는 않았어서 실활용은 어렵다고 판단되어 DETR 논문만 딱 읽고 그 후속 논문들은 열심히 읽어보지는 않았었다.

 

최근 DETR을 기반으로 하면서 YOLO 보다 속도 대비 검출 성능이 뛰어난 방법이 공개됐다. 논문을 꼼꼼하게 읽어봐야겠다. 이제는 한 번 직접 구현까지도 해봐야 할 거 같다. 

 

https://arxiv.org/abs/2304.08069

DETRs Beat YOLOs on Real-time Object Detection

20230422 기준 현재 올라온 버전에는 실험결과에 어느정도 모델 사이즈가 큰 L, X 만 비교해놔서 보다 작은 모델 사이즈(YOLO 류로 치면 M, S, N) 에서는 어떤 결과를 보일지 궁금하다. 코드가 곧 PaddleDetection 프로젝트에 공개될 거 같다.

 

https://github.com/PaddlePaddle/PaddleDetection

GitHub - PaddlePaddle/PaddleDetection: Object Detection toolkit based on PaddlePaddle. It supports object detection, instance se

 

 

---

파이썬 스킬은 ultralytics 프로젝트를 뜯어보며, 기여해가며 쌓아가려한다.

 

https://github.com/ultralytics/ultralytics

GitHub - ultralytics/ultralytics: NEW - YOLOv8 🚀 in PyTorch > ONNX > CoreML > TFLite

 

그리고, 모델을 매우 매우 쉽게 사용할 수 있게 디자인한 timm의 디자인 패턴을 흉내내보고싶다.

 

https://github.com/huggingface/pytorch-image-models

GitHub - huggingface/pytorch-image-models: PyTorch image models, scripts, pretrained weights -- ResNet, ResNeXT, EfficientNet, E

 

도커도 좀 잘쓰고싶다.

---

CS 지식은 틈틈히 책 및 인강으로 메꿔가려고한다.

---

영어는 당장 업무에 필요한 논문 읽기에 있어서는 무리 없지만 듣기, 말하기, 쓰기가 매우 약하다. 말할 일은 별로 없고 쓰기는 오픈 소스 프로젝트에 커밋, PR 날릴때 간간히 쓰는 정도인데 내가 한 걸 제대로 설명 못하니 너무 답답하다. 듣기는 우선 하루 10분이라도 영어 영상을 꾸준히 봐보려고한다. 말하기는 잠시 접어두고... 쓰기는 오픈 소스 프로젝트에 열심히 PR 날려가며 영어 문장을 작성할 기회를 늘려가야겠다.