지속 가능한 꾸준함

www.edwith.org/linearalgebra4ai/lecture/24798 [LECTURE] 그람-슈미트 직교화와 QR 분해 : edwith 학습목표 이번에는 임의의 행렬을 직교기저(Orthogonal basis)를 가지는 행렬로 변환하는 그람-슈미트 직교화에 대해 배워보겠습니다. 핵심 키워드 그람-슈미트 직교화(... - 커넥트재단 www.edwith.org Gram-Schmidt Orthogonalization 행렬 \(A\)가 있습니다. \(A = \begin{bmatrix} 3 && 1 \\ 6 && 2 \\ 0 && 2 \end{bmatrix} \) \(A\)의 Column Vectors를 \(\mathbf{a}_{1}\), \(\mathbf{a}_{2}\)라고 정의하겠습니다. 이 Col..

MobileNetv1은 대표적인 컨볼루셔널 레이어 기반의 경량(Lightweight) 네트워크입니다. Depthwise Convolution과 Pointwise Convolution을 적절히 사용함으로써 타 네트워크(vgg, googlenet등) 대비 크게 적은 파라미터수와 연산량으로 대등한 인식 성능을 보이며 세간의 관심을 끌었습니다. 논문 링크(Official) arxiv.org/abs/1704.04861 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications We present a class of efficient models called MobileNets for mobile and embedded vis..

일반적으로 Depthwise Convolutional Layer는 CNN 모델의 연산량과 파라미터 수를 줄이기 위하여 제안되었으나, 실제로 이를 사용하여 모델을 구현한 뒤에 속도를 측정해보면 줄어드는 연산량 대비 고속화의 정도가 크지 않습니다. 특히, 저의 경우 Depthwise Convolutional Layer가 포함된 CNN 모델을 학습시키려하니, Forward 및 Backward 과정에서 비정상적으로 긴 시간이 걸리는 것을 확인하였습니다. 이러한 경우 코드상에서 Forward 및 Backward 과정 이전에 아래의 코드를 작성해주면 소요시간을 단축시킬 수 있습니다. torch.backends.cudnn.deterministic = False torch.backends.cudnn.benchmark ..