지속 가능한 꾸준함

github.com/ultralytics/yolov3/issues/1098 Memory Friendly Mish() Activation · Issue #1098 · ultralytics/yolov3 Hello, I tried yolov4.cfg on 2080Ti with input size 448*448, the training runs out of cuda memory even with batch size = 8 Have you tried the largest batch size value which won't break the cuda... github.com Mish activiation function을 사용하면 메모리 사용량이 크게 증가하는 것으로 보인다. Single Gpu에서 학습 가능한 모..

1. 이미지를 Load 한다. 2. 이미지를 Resize 한다. 3. (모델이 요구하는 인풋 텐서의 컬러 포맷이 RGB인 경우) 이미지의 컬러 포맷을 RGB로 변환한다. *OpenCV는 기본적으로 BGR 포맷으로 이미지를 처리한다. 4. 이미지를 텐서(torch::Tensor 형)로 변환한다. 5. 모델이 요구하는 인풋 텐서의 Shape에 맞도록 텐서를 Reshape한다. (본 예제에서는 NCHW 포맷을 따름) 6. 텐서를 정규화한다. 7. (GPU를 사용하는 경우) 텐서를 GPU 메모리로 업로드한다. cv::Mat img_bgr_u8 = cv::imread("your_image.jpg",cv::IMREAD_COLOR); cv::Mat img_rgb_u8; //resize cv::resize(img_bg..

import torch import torch.nn as nn class Model(nn.Module): def __init__(self): super(Model, self).__init__() self.conv1 = nn.Conv2d(3, 16, 3, 1, 1) self.bn1 = nn.BatchNorm2d(16) self.conv2 = nn.Conv2d(16, 16, 3, 1, 1) self.bn2 = nn.BatchNorm2d(16) def forward(self, x): x = torch.relu(self.bn1(self.conv1(x))) x = x + torch.relu(self.bn2(self.conv2(x))) return x input = torch.randn((1, 3, 736, 128..

github.com/pytorch/pytorch/blob/master/torch/nn/modules/conv.py pytorch/pytorch Tensors and Dynamic neural networks in Python with strong GPU acceleration - pytorch/pytorch github.com 위 파일에서 reset_parameters() 함수를 보면 됨.

import os os.environ['CUBLAS_WORKSPACE_CONFIG'] = ':16:8' os.environ 을 통해 환경변수를 세팅해주면 됩니다.

float16 으로 연산이 되는 점을 고려하여 레이어의 아웃풋 값의 범위가 float16 으로 표현 가능한 수의 범위를 넘지 않도록 조심해야합니다.

github.com/pytorch/pytorch/issues/1917 Get a single batch from DataLoader without iterating · Issue #1917 · pytorch/pytorch Is it possible to get a single batch from a DataLoader? Currently, I setup a for loop and return a batch manually. If there isn't a way to do this with the DataLoader currently, I would be happ... github.com dataloader_iterator = iter(dataloader) for i in range(iterations):..

모델을 구성하는 레이어(혹은 연산) 중 torch.exp 를 포함하는 경우 auto mixed precision과 충돌이 발생할 수 있습니다. 이는 torch.exp의 output data type이 auto mixed precision과 호환되도록 자동으로 변환되지 않아 발생하는 문제입니다. (추후 업데이트에서 해결될 문제로 보이긴 합니다.) 이런 경우 torch.exp 의 output의 data type을 입력 텐서 x의 data type으로 재변환시키는 과정이 필요합니다. output = torch.exp(x).type(x.dtype)

일반적으로 Depthwise Convolutional Layer는 CNN 모델의 연산량과 파라미터 수를 줄이기 위하여 제안되었으나, 실제로 이를 사용하여 모델을 구현한 뒤에 속도를 측정해보면 줄어드는 연산량 대비 고속화의 정도가 크지 않습니다. 특히, 저의 경우 Depthwise Convolutional Layer가 포함된 CNN 모델을 학습시키려하니, Forward 및 Backward 과정에서 비정상적으로 긴 시간이 걸리는 것을 확인하였습니다. 이러한 경우 코드상에서 Forward 및 Backward 과정 이전에 아래의 코드를 작성해주면 소요시간을 단축시킬 수 있습니다. torch.backends.cudnn.deterministic = False torch.backends.cudnn.benchmark ..

def img2tensor(img): #the format of img needs to be bgr format img = img[..., ::-1] #bgr2rgb img = img.transpose(2, 0, 1) #(H, W, CH) -> (CH, H, W) img = np.ascontiguousarray(img) tensor = torch.tensor(img, dtype=torch.float32) return tensor