D-FINE 모델의 Backbone Network은 무엇일까?

https://github.com/Peterande/D-FINE

GitHub - Peterande/D-FINE: D-FINE: Redefine Regression Task of DETRs as Fine-grained Distribution Refinement 💥💥💥

 

논문에서 나온 성능만 봤을때 굉장히 인상적인 검출 모델이다.

 

무슨 백본을 사용했을까?

 

 

HGNetV2 를 사용했다고한다.

 

https://huggingface.co/timm/hgnetv2_b6.ssld_stage1_in22k_in1k

timm/hgnetv2_b6.ssld_stage1_in22k_in1k · Hugging Face

 

https://github.com/PaddlePaddle/PaddleClas/blob/develop/docs/zh_CN/models/ImageNet1k/PP-HGNetV2.md

PaddleClas/docs/zh_CN/models/ImageNet1k/PP-HGNetV2.md at develop · PaddlePaddle/PaddleClas

 

D-FINE은 N, S, M, L, X사이즈가 있다.

Model	Backbone	#Params	COCO AP	ImageNet Accuracy
D-FINE-N	B0	4M	42.8	77.77
D-FINE-S	B0	10M	48.5	77.77
D-FINE-M	B2	19M	52.3	81.74
D-FINE-L	B4	31M	54.0	83.57
D-FINE-X	B5	62M	55.8	84.75

 

COCO AP는 Object365 Pretrained아닌 모델 기준이다.

 

ImageNet Accuracy 는 ImageNet Pretrained 기준 Accuracy다.

 

YOLOv8이랑 비교하면 어떨까

Model	Backbone	#Params	COCO AP	ImageNet Accuracy
YOLOv8n	YOLOv8n-cls	3.2M	37.3	69.0
YOLOv8s	YOLOv8s-cls	11.2M	44.9	73.8
YOLOv8m	YOLOv8m-cls	25.9M	50.2	76.8
YOLOv8l	YOLOv8l-cls	43.7M	52.9	76.8
YOLOv8x	YOLOv8x-cls	68.2M	53.9	79.0

 

백본의 ImageNet Accuracy 부터 성능이 크게 비교된다. ImageNet Accuracy가 더 높은 모델이 트랜스퍼 러닝시 더 좋은 성능을 보이는 게 일반적인 경향인걸 생각해보면, D-FINE은 백본부터 강력한 백본을 골랐다고 볼 수 있을 거 같다.

 

논문을 차근 차근 읽어봐야겠다.