200개 이상의 스타를 기록한 두번째 프로젝트 PyTorch-Deformable-Convolution-v2

https://github.com/developer0hye/PyTorch-Deformable-Convolution-v2

GitHub - developer0hye/PyTorch-Deformable-Convolution-v2: Don't feel pain to use Deformable Convolution

 

Detection 모델 보다보면 Deformable Convolution 을 많이 쓰는 걸 볼수있다.

 

가장 널리 알려진 YOLO 시리즈들은 안쓰긴하는데, 대체로 모델의 일부 Convolutional 레이어를 Deformable Convolution으로 대체했을때 성능이 향상되었다는 결과들은 쉽게 찾을 수 있다. 그래서 다른 사람들이 쉽게 쓸 수 있게 구현해보았었다. 왜냐하면, 해당 코드를 막 공개했을 당시에 파이토치에 deformable convolution이 잘 구현돼있음에도 불구하고, 따로 CUDA 코드 받아서 빌드하고 쓰는 사람들이 많았다. 그래서 보다 쓰기 쉽게 만들었고, 생각보다 많은 사람들이 해당 프로젝트를 찾고있어 기쁘다.

 

근데 Deformable Convolution은 ONNX나 TensorRT에서 공식적으로 지원안되는 Operation이다. 적어도 지금(20221021)은 그렇다. 그래서 onnxruntime 이나 TensorRT로 돌리려면 해당 레이어를 위한 별도의 CUDA 코드를 구현해줘야한다. 사내에 이런 인퍼런스엔진과 CUDA를 전문적으로 다루는 사람이 있으면 그냥 맡기고 하면 되지만 내 경우 파이토치 모델링 부터 onnxruntime, TensorRT 인퍼런스까지 다 해야하기때문에 onnxruntime, TensorRT에서 지원하는 오피셜한 operation이 아니면 아무리 좋은 성능을 낸다고해도 곧바로 적용을 하기에는 어렵다.

 

확실히 내가 실험을 했을때 Detection Task에서 Deformable Convolution의 유무차이는 1 이상의 AP(Average Precision)이 차이날정도로 굉장히 큰 차이가 있었다. 근데 막상 모델 배포를 할때는 onnxruntime, TensorRT에서 이를 지원하지 않다보니 이를 쓰지 않고도 onnxruntime, TensorRT에서 지원하는 연산들을 잘 조합하여  근사한 성능을 낼 수 있는 방법을 나름대로 연구/개발해보고 있다.