PyTorch to Onnx to TensorRT 과정을 위해 참고할만한 링크들

PyTorch 모델을 Tensorrt로 변환하기 위해 많은 방법이 있겠지만, 그중에 하나는 PyTorch -> Onnx -> TensorRT 로 변환을 하는 것이다.

 

위 과정이 매끄럽게 진행 되기 위해선 나의 PyTorch 모델이 Onnx 에서 지원하는 연산들을 통해 변환되는지부터 확인해야 하고, Onnx 연산들이 또 Tensorrt에서 지원되는지 확인해야한다.

 

PyTorch to Onnx

 

https://pytorch.org/docs/stable/onnx.html#supported-operators

torch.onnx — PyTorch 1.8.1 documentation

위 링크에서는 PyTorch to Onnx 과정에서 공식적으로 지원되는 연산들을 확인할 수 있다.

 

지원되지 않는 연산(예를 들어 Deformable Conv...)은 직접 PyTorch to Onnx 변환이 되도록 코드를 작성해줘야한다.

 

https://github.com/onnx/tutorials/blob/master/PyTorchCustomOperator/README.md

onnx/tutorials

 

위 링크에서는 PyTorch to Onnx 과정에서 공식적으로 지원되지 않는 연산을 어떻게 처리할 수 있는지에 대한 내용이 설명돼있다. (아직 안해봄...)

 

Onnx to TensorRT

 

https://github.com/onnx/onnx-tensorrt/blob/master/docs/operators.md

onnx/onnx-tensorrt

 

위 링크에서는 Onnx to TensorRT 과정에서 공식적으로 지원되는 연산들을 확인할 수 있다.