지속 가능한 꾸준함

chatgpt로 작성한글입니다.분산 환경에서 Non-Tensor 객체 동기화 방법1. 배경문제 상황:분산 학습 환경에서는 각 프로세스가 별도로 계산한 결과를 동기화할 필요가 있습니다.텐서(tensor)는 all_reduce나 all_gather 같은 연산을 통해 쉽게 동기화할 수 있지만, 파이썬의 일반 객체(예: 리스트, 딕셔너리 등)는 이러한 연산을 직접 사용할 수 없습니다.해결 방법:PyTorch는 일반 파이썬 객체도 동기화할 수 있도록 torch.distributed.all_gather_object 함수를 제공합니다.2. torch.distributed.all_gather_object 사용법기능:각 프로세스에서 생성한 파이썬 객체를 한 곳으로 모으는 역할을 합니다.핵심 포인트:각 프로세스가 동기화할..

https://huggingface.co/blog/siglip2 SigLIP 2: A better multilingual vision language encoderMight want to check something: The demo at the bottom hangs with "Uploading 1 file..." and none of the premade examples load or execute. 6 different Javascript console errors are thrown. (Chrome, Mac).huggingface.co 고마워요 구글형님들

FROM pytorch/pytorch:2.6.0-cuda12.6-cudnn9-devel# CUDA 라이브러리 경로 환경변수 설정 for onnxruntime-gpuENV LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64ENV LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/conda/lib/python3.11/site-packages/nvidia/cudnn/lib Dockerfile혹은 안에 컨테이너에서 위와 같이 LD LIB PAHT에 저 두 경로를 추가해주자cudnn 라이브러이 위치들이 이누야샤 사원의 조각마냥 흩뿌려져있어서 lib경로 다 찾아서 추가해줬다.

https://arxiv.org/pdf/2501.16704v1

pytorch 의 official TransformerDecoder 레이어가 포함된 모델을 onnx 변환하려니 아래와 같이 onnx에서 지원하지 않는 연산이라며 오류가 발생했다. aten::_native_multi_head_attention ~ 우회법은 onnx 변환 함수 호출하기전에 torch.backends.mha.set_fastpath_enabled(False) 를 호출해주는 것이다. 이 방법 찾기 전에는 TransformerDecoder 상속 받아서 multi head attention 부분만 custom op로 돌아가게 오버라이딩 해야하나 이런 고민을 했었는데, 저거 호출하고 변환하니 일단은 변환 돼서 안심...

PyTorch 모델을 ONNX 형식으로 변환할 때, 모델의 forward 메소드가 추가 인자를 받는 경우가 있습니다. 예를 들어, 학습/추론 모드를 구분하는 phase 인자와 같은 것들이죠. 이런 경우 ONNX 변환 시 어떻게 처리해야 하는지 알아보겠습니다. 문제 상황 일반적으로 PyTorch 모델의 forward 메소드는 입력 텐서만 받지만, 때로는 다음과 같이 추가 인자를 받도록 구현되어 있을 수 있습니다:def forward(self, x, phase='train'): # phase에 따라 다른 동작을 수행 if phase == 'train': # 학습 시의 동작 ... else: # 추론 시의 동작 ... return outp..

https://arxiv.org/pdf/2003.10168 https://arxiv.org/pdf/2102.05447 https://arxiv.org/pdf/2407.14972   https://github.com/serengil/deepface/tree/master/benchmarks deepface/benchmarks at master · serengil/deepfaceA Lightweight Face Recognition and Facial Attribute Analysis (Age, Gender, Emotion and Race) Library for Python - serengil/deepfacegithub.com   face recognition 관련해서 찾다보면 embedding feature..

AdaFace paper repo GitHub - mk-minchul/CVLfaceContribute to mk-minchul/CVLface development by creating an account on GitHub.github.com  TransFace paper repo GitHub - DanJun6737/TransFace: [ICCV 2023] TransFace: Calibrating Transformer Training for Face Recognition from a Data-Centric[ICCV 2023] TransFace: Calibrating Transformer Training for Face Recognition from a Data-Centric Perspective - Dan..

https://arxiv.org/pdf/2312.05391   다양한 Loss에 대한 정성적 결과 및 정량적 결과를 비교해볼 수 있다. semantic segmentation 비스무리한 task를 시도해보고 있는 게 있는데 극심한 class imbalance 상황이라 기존 연구들은 어떻게 해결했는지 찾다가 괜찮아보여서 블로그에 저장해둠.

https://openaccess.thecvf.com/content/CVPR2022/papers/Cheng_Pointly-Supervised_Instance_Segmentation_CVPR_2022_paper.pdf  세그먼테이션은 아니고 클래시피케이션 학습시킬때 인식하고자 하는 객체의 위치를 가이드 시켜줘보고 싶은 부분이 있는데 뭔가 이런 류의 논문에서 영감을 받을 수 있을 거 같아서 임시로 저장