지속 가능한 꾸준함

PyTorch 모델을 Tensorrt로 변환하기 위해 많은 방법이 있겠지만, 그중에 하나는 PyTorch -> Onnx -> TensorRT 로 변환을 하는 것이다. 위 과정이 매끄럽게 진행 되기 위해선 나의 PyTorch 모델이 Onnx 에서 지원하는 연산들을 통해 변환되는지부터 확인해야 하고, Onnx 연산들이 또 Tensorrt에서 지원되는지 확인해야한다. PyTorch to Onnx https://pytorch.org/docs/stable/onnx.html#supported-operators torch.onnx — PyTorch 1.8.1 documentation Shortcuts pytorch.org 위 링크에서는 PyTorch to Onnx 과정에서 공식적으로 지원되는 연산들을 확인할 수 있다..

배치사이즈를 줄이니 해결됐다.

github.com/ultralytics/yolov3/issues/1098 Memory Friendly Mish() Activation · Issue #1098 · ultralytics/yolov3 Hello, I tried yolov4.cfg on 2080Ti with input size 448*448, the training runs out of cuda memory even with batch size = 8 Have you tried the largest batch size value which won't break the cuda... github.com Mish activiation function을 사용하면 메모리 사용량이 크게 증가하는 것으로 보인다. Single Gpu에서 학습 가능한 모..

1. 이미지를 Load 한다. 2. 이미지를 Resize 한다. 3. (모델이 요구하는 인풋 텐서의 컬러 포맷이 RGB인 경우) 이미지의 컬러 포맷을 RGB로 변환한다. *OpenCV는 기본적으로 BGR 포맷으로 이미지를 처리한다. 4. 이미지를 텐서(torch::Tensor 형)로 변환한다. 5. 모델이 요구하는 인풋 텐서의 Shape에 맞도록 텐서를 Reshape한다. (본 예제에서는 NCHW 포맷을 따름) 6. 텐서를 정규화한다. 7. (GPU를 사용하는 경우) 텐서를 GPU 메모리로 업로드한다. cv::Mat img_bgr_u8 = cv::imread("your_image.jpg",cv::IMREAD_COLOR); cv::Mat img_rgb_u8; //resize cv::resize(img_bg..

import torch import torch.nn as nn class Model(nn.Module): def __init__(self): super(Model, self).__init__() self.conv1 = nn.Conv2d(3, 16, 3, 1, 1) self.bn1 = nn.BatchNorm2d(16) self.conv2 = nn.Conv2d(16, 16, 3, 1, 1) self.bn2 = nn.BatchNorm2d(16) def forward(self, x): x = torch.relu(self.bn1(self.conv1(x))) x = x + torch.relu(self.bn2(self.conv2(x))) return x input = torch.randn((1, 3, 736, 128..

github.com/pytorch/pytorch/blob/master/torch/nn/modules/conv.py pytorch/pytorch Tensors and Dynamic neural networks in Python with strong GPU acceleration - pytorch/pytorch github.com 위 파일에서 reset_parameters() 함수를 보면 됨.

import os os.environ['CUBLAS_WORKSPACE_CONFIG'] = ':16:8' os.environ 을 통해 환경변수를 세팅해주면 됩니다.

float16 으로 연산이 되는 점을 고려하여 레이어의 아웃풋 값의 범위가 float16 으로 표현 가능한 수의 범위를 넘지 않도록 조심해야합니다.

github.com/pytorch/pytorch/issues/1917 Get a single batch from DataLoader without iterating · Issue #1917 · pytorch/pytorch Is it possible to get a single batch from a DataLoader? Currently, I setup a for loop and return a batch manually. If there isn't a way to do this with the DataLoader currently, I would be happ... github.com dataloader_iterator = iter(dataloader) for i in range(iterations):..

모델을 구성하는 레이어(혹은 연산) 중 torch.exp 를 포함하는 경우 auto mixed precision과 충돌이 발생할 수 있습니다. 이는 torch.exp의 output data type이 auto mixed precision과 호환되도록 자동으로 변환되지 않아 발생하는 문제입니다. (추후 업데이트에서 해결될 문제로 보이긴 합니다.) 이런 경우 torch.exp 의 output의 data type을 입력 텐서 x의 data type으로 재변환시키는 과정이 필요합니다. output = torch.exp(x).type(x.dtype)