LORA, Adapter, Prompt Tuning 등 PEFT를 ViT에 적용 및 제안한 논문

MELO: LOW-RANK ADAPTATION IS BETTER THAN FINE-TUNING FOR MEDICAL IMAGE DIAGNOSIS

 

https://arxiv.org/pdf/2311.08236

 

https://github.com/JamesQFreeman/LoRA-ViT

 

 

메디컬 도메인이긴 하지만 Task와 Dataset에 따라 성능 개선될 여지가 있음을 보임

 

 

---

AdaptFormer: Adapting Vision Transformers for Scalable Visual Recognition

 

https://arxiv.org/abs/2205.13535

 

https://github.com/ShoufaChen/AdaptFormer

GitHub - ShoufaChen/AdaptFormer: [NeurIPS 2022] Implementation of "AdaptFormer: Adapting Vision Transformers for Scalable Visual

 

 

---

Visual Prompt Tuning

 

제목이 뭔가 심플하고 근본있어보인다.

 

https://arxiv.org/abs/2203.12119

 

 

https://github.com/KMnP/vpt

GitHub - KMnP/vpt: ❄️🔥 Visual Prompt Tuning [ECCV 2022] https://arxiv.org/abs/2203.12119

 

 

 

ViT 입력으로 Learnable Token을 추가로 Embedding하여 학습하는 방식, 제목만큼이나 심플하다.

---

Parameter-Efficient Fine-Tuning for Pre-Trained Vision Models: A Survey

 

결국 위 방법들과 내가 찾고 싶은 방법들은 PEFT(Parameter-Efficient Fine-Tuning)이다. 다양한 PEFT 방법에 대한 서베이 논문

 

https://arxiv.org/pdf/2402.02242