[Deep Learning] 관심이 생긴 Detection 모델 Plain-DETR, DETR Does Not Need Multi-Scale or Locality Design

https://github.com/impiga/Plain-DETR

GitHub - impiga/Plain-DETR: [ICCV2023] DETR Doesn’t Need Multi-Scale or Locality Design

https://openaccess.thecvf.com/content/ICCV2023/html/Lin_DETR_Does_Not_Need_Multi-Scale_or_Locality_Design_ICCV_2023_paper.html

ICCV 2023 Open Access Repository

 

이미 multi-scale feature pyramid 라는 Detection 분야의 하나의 Inductive bias가 된 기법을 걷어내려는 연구는 존재했고, 리뷰도 했었다.

 

https://developer0hye.tistory.com/333

Exploring Plain Vision Transformer Backbones for Object Detection 리뷰

 

약간 위 논문과 비슷한 종류의 연구같다.

 

대신 여기서는 Backbone으로 아예 Swin 을 사용했다. 좀 비슷한 점은 "MIM(Masked Image Modeling)이 Detection Task에 있어 Pre-training에 있어서 정말 중요하다."라는 점을 한 번 더 밝혀냈고, 개선된 DETR 방법들로부터 비교적 간단하면서도 성능에 효과적인 방법들에 대한 ablation study를 잘해줬고, 또 Positional Embedding과 Regression 부분의 스케일을 조정함으로써 높은 성능을 달성함을 보이고 있다.

 

코드와 논문을 대강 보았을때는 Deformable Attention 도 딱히 안 쓴 거 같고, Label assignment 알고리즘도 크게 복잡해보이지 않는다.

 

드디어,  Transformer를 Base로 하면서 과도하게(?) 복잡하지 않은 구조의 Detection 모델이 공개된 거 같다.