지속 가능한 꾸준함

https://runpod.io/?ref=hxy1q5uk RunPod - The Cloud Built for AIDevelop, train, and scale AI models in one cloud. Spin up on-demand GPUs with GPU Cloud, scale ML inference with Serverless.www.runpod.io 이 링크로 들어가셔서 가입 후 결제해서 사용해주신다면 저에게도 큰 힘이 됩니다. 감사합니다.

import osos.environ["HF_HOME"] = "/workspace/"import torchfrom transformers import pipelinetransformers import하기전에 환경변수 HF_HOME을 원하는 위치로 지정하면 된다. export나 bashrc에 기록하는 것도 방법이다.https://daeun-computer-uneasy.tistory.com/145?category=1080901 [Linux] Huggingface model default 저장 경로 (./.cache) 변경하기 (HF_HOME 지정)허깅페이스 모델들을 마구잡이로 다운 받다보면,, 디폴트 저장 경로가 /home/daeun/.cache/huggingface 이런 식으로 home 폴더로 설정되어 있는..

소개 페이지https://huggingface.co/briaai/RMBG-2.0 briaai/RMBG-2.0 · Hugging FaceBRIA Background Removal v2.0 Model Card RMBG v2.0 is our new state-of-the-art background removal model, designed to effectively separate foreground from background in a range of categories and image types. This model has been trained on a carefully selectehuggingface.co 데모 페이지https://huggingface.co/spaces/briaai/BRIA-RMBG..

https://huggingface.co/docs/timm/feature_extraction#query-the-feature-information Feature Extraction huggingface.co 공식 문서에 나온대로 하면 몇몇 네트워크의 경우는 아래와 같은 아래가 발생할 것이다. 예를 들면 convnext_tiny 모델을 load해보면 바로 알 것이다. feature_info 출력해보면 원소가 딕셔너리인 리스트이다. 만약 내가 마지막 레이어의 피쳐맵을 알고 싶다. 그러면, 모델.feature_info[-1]['num_chs'] 하면 된다. (Pdb) self.backbone.feature_info[-1]{'num_chs': 768, 'reduction': 32, 'module': 'stage..

pip install 'onnxruntime-gpu 2024년 11월10일 기준 분명 1.20버전이랑 1.19 버전이랑 recommended cuda, cudnn 버전이 큰 차이가 없어 보이는데 이상하게 1.20 버전으로 설치하면 cuda를 제대로 인식못한다. 참고로 pytorch/pytorch:2.4.1-cuda12.4-cudnn9-devel 이 이미지 base로 하다가 겪은 문제다. https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html NVIDIA - CUDAInstructions to execute ONNX Runtime applications with CUDAonnxruntime.ai

Language Models are Few-Shot Learners  LLM을 사용하며 대체 얼마만큼 예시를 줘야하나 궁금했다. 산학 과제를 수행해온 연구실의 교수님과 학생분께도 여쭤봤는데 제로샷, 1~2샷 정도만 해보고 더는 안해봤다는 답을 얻기도했다. "최고의 프롬프트 엔지니어링 강의"(김진중(골빈해커) 지음)책에 관련 내용과 논문이 나와있어서 블로그에 업로드 해둠! 근데... 다 읽기는 귀찮은데?! 도와줘요 챗지피티!  적어도 10개, 많게는 32개 정도 쓸 수 있을 거 같다.음 근데 example 32개면 너무 길어지지 않으려나 걱정된다.

예시) 2, 3번 gpu 에만 모델 업로드하고 싶다 그러면 import os 를 최상단에 해주고 visible devices를 아래와 같이 정의하면 된다.(정확히는 최상단에 해주기보다 gpu가 사용되는 라이브러리 import 전에 해줄 것!) import osos.environ["CUDA_VISIBLE_DEVICES"] = "2, 3"import transformers... 꼭 저렇게 하드코딩 할 필요는 없어 보이고 python실행할때 붙여줘도 될 거 같다.CUDA_VISIBLE_DEVICES=2,3 python ~ device_map  은 그냥 "auto" 로 놔두면 된다. 더 좋은 방법이 있을 거 같은데 일단 이렇게 해서 됐다.

https://github.com/microsoft/onnxruntime/releases/tag/v1.20.0 Release ONNX Runtime v1.20.0 · microsoft/onnxruntimeRelease Manager: @apsonawane Announcements All ONNX Runtime Training packages have been deprecated. ORT 1.19.2 was the last release for which onnxruntime-training (PyPI), onnxruntime-training-cpu ...github.com 알고보니 10월 7일에 릴리즈 됐구나

https://modelscope.cn/studios/stepfun-ai/GOT_official_online_demo GOT官方DemoGOT-OCR-2.0官方在线体验Demo，通过统一的端到端模型实现 OCR-2.0www.modelscope.cn 위 사이트에서 GOT OCR 2.0 을 돌려볼 수 있다. 성능이 좋다는데, 한국어도 잘 인식할까? Document 문자는 인식은 되는거로 보이나, 띄어쓰기를 인식 못하는 거 같다. 어쨌든 한국어가 학습데이터로 있기는 한 거 같다. 논문 읽어보면 나오려나 Natural Image의 경우 한국어 인식을 잘 못하는 거 같다.

해당 게시글은 2024년 10월 26일에 작성된 글입니다. 작성 날짜에 유의하여 보시길 바랍니다.https://lk.instruct.kr/ LogicKor | 한국어 언어모델 다분야 사고력 벤치마크LogicKor은 한국어 언어모델의 다분야 사고력을 측정하는 벤치마크입니다. 추론, 수학, 글쓰기, 코딩, 이해, 문법 등 다양한 분야의 사고력을 측정합니다.lk.instruct.kr Api호출식이 아니라 모델 직접 다운로드 받아서 할 거라면 비공개 모델란 체크 해제하고 찾아보면 될듯하다.https://wandb.ai/wandb-korea/korean-llm-leaderboard/reports/-LLM---Vmlldzo3MzIyNDE2?accessToken=95bffmg3gwblgohulknz7go3h66k11..