[Deep Learning] COCO pre-trained YOLOv8 모델의 최적의 confidence threshold 탐색

실험에 사용된 프로젝트 commit id: 243fc4b1fe214ff6c27759dad51c37809db8f7f8

 

https://github.com/ultralytics/ultralytics

GitHub - ultralytics/ultralytics: NEW - YOLOv8 🚀 in PyTorch > ONNX > CoreML > TFLite

 

COCO dataset에 대해 validation 을 진행하여 f1 score가 best score를 갖을때의 confidence threshold 가 최적의  confidence threshold라고 정의 후 해당 값을 측정해보았다.

 

실행한 명령어는 아래와 같다.

yolo val task=detect model=yolov8n.pt data=coco.yaml
yolo val task=detect model=yolov8s.pt data=coco.yaml
yolo val task=detect model=yolov8m.pt data=coco.yaml
yolo val task=detect model=yolov8l.pt data=coco.yaml
yolo val task=detect model=yolov8x.pt data=coco.yaml

Model	confidence threshold	f1-score
YOLOv8n	0.241	0.53
YOLOv8s	0.285	0.61
YOLOv8m	0.327	0.65
YOLOv8l	0.298	0.68
YOLOv8x	0.300	0.68

대체로 낮은 거 같다. 최적의 confidence threshold를 찾으려는 시도를 안해보고 처음에 세팅해볼만한 값이 0.5일텐데 0.5 로 두면 Recall 이 크게 저하될 수 있음(=미탐률 증가)을 아래 그래프(상: F1-Score, 하: Recall)에서 확인할 수 있다.

 

YOLOv8n

YOLOv8s

YOLOv8m

YOLOv8l

YOLOv8x