지속 가능한 꾸준함

키 발급 필요https://aistudio.google.com/apikey 로그인 - Google 계정이메일 또는 휴대전화accounts.google.com 키 발급 후 API 키 별도 저장하여 관리 필요, 아래 예제 에서는 api.txt에 해당 API 키가 작성돼있음을 가정테스트 코드 1. 호출 가능한 모델 출력from google import genaiimport os# read api.txtwith open("api.txt", "r") as file: gemini_api_key = file.read().strip()os.environ["GEMINI_API_KEY"] = gemini_api_key# The client gets the API key from the environment varia..

https://github.com/developer0hye/korean-sentence-embedding-example GitHub - developer0hye/korean-sentence-embedding-example: 한국어 문장 임베딩 모델들의 성능을 비교하고 시각한국어 문장 임베딩 모델들의 성능을 비교하고 시각화하는 프로젝트입니다. 본 프로젝트는 Claude Opus 4로 구현되었습니다. - developer0hye/korean-sentence-embedding-examplegithub.com 임베딩 모델들은 챗지피티 딥리서치로 찾고, 프로젝트 구현은 Claude Opus4를 활용했다. BM-K/KoSimCSE-roberta 와 snunlp/KR-SBERT-V40K-klueNLI-augSTS 를..

아래 표는 챗지피티로 생성함 항목 DirectML EP (onnxruntime-directml) CUDA EP (onnxruntime-gpu)기반 APIDirectML (DirectX 12 위에 구축된 ML API)NVIDIA CUDA 및 cuDNN지원 OSWindows 10/11(x64/ARM64) 한정Windows, Linux, WSL 2, 일부 Jetson Linux지원 HWDX12 을 지원하는 모든 GPU·iGPU· NPU (NVIDIA·AMD·Intel·Qualcomm 등)NVIDIA GPU 전용 (Pascal 이후 권장)설치 패키지pip install onnxruntime-directml (CUDA 의존성 無)pip install onnxruntime-gpu + CUDA toolkit/cuDN..

arxiv Don't Look Twice: Faster Video Transformers with Run-Length TokenizationTransformers are slow to train on videos due to extremely large numbers of input tokens, even though many video tokens are repeated over time. Existing methods to remove such uninformative tokens either have significant overhead, negating any speedup, or rarxiv.org 이미지, 비디오는 Space, Time 축으로 중복도가 높다. 우리가 아는 jpg, h264, ..

https://github.com/catherine-r-he/hetnet GitHub - Catherine-R-He/HetNet: Codes for the AAAI 2023 paper (Oral) "Efficient Mirror Detection via Multi-level Heterogeneous LCodes for the AAAI 2023 paper (Oral) "Efficient Mirror Detection via Multi-level Heterogeneous Learning" https://arxiv.org/pdf/2211.15644v1.pdf - Catherine-R-He/HetNetgithub.com cctv 관제하다보면 간혹 유리문이나 거울에 비친 대상을 오인식하고는 하는데, 일반적으로 생..

https://magazine.sebastianraschka.com/p/practical-tips-for-finetuning-llms Practical Tips for Finetuning LLMs Using LoRA (Low-Rank Adaptation)Things I Learned From Hundreds of Experimentsmagazine.sebastianraschka.com

7,586.05 달러... 온프레미스로 학습 서버를 구축하지 않고 클라우드로 학습하는 경우 개발자들이 더 직접적으로 자신이 소모한 비용을 체감할 수 있다. 이러면 비용만큼 잘돼야 한다는 부담감이 더 생긴다...

아래는 챗지피티가 만들어준 표 항목 NVIDIA A10G NVIDIA L40S출시 시기20212023아키텍처Ampere (GA102)Ada Lovelace (AD102)FP32 성능~31.2 TFLOPS~91.6 TFLOPSFP16 성능 (Tensor Core)~125 TFLOPS (Sparsity 포함)~1467 TFLOPS (Sparsity 포함)INT8 성능 (Tensor Core)~250 TOPS (Sparsity 포함)~2935 TOPS (Sparsity 포함)VRAM 용량24 GB GDDR648 GB GDDR6메모리 대역폭600 GB/s864 GB/sTDP (전력 소비)300W350WNVENC / NVDEC2x NVENC / 1x NVDEC2x NVENC (8세대) / 2x NVDEC주용도중급..

import torch.nn as nnfrom timm import create_modelfrom peft import LoraConfig, get_peft_model# 1) 사전학습 ViT 로드model = create_model('vit_intern300m_patch14_448.ogvl_2pt5', pretrained=False)# 2) 어떤 Linear 층이 있는지 확인 (타깃 모듈 결정)for n, m in model.named_modules(): if isinstance(m, nn.Linear): print(n) # 예) blocks.0.attn.qkv, blocks.0.attn.proj ...# 3) LoRA 설정config = LoraConfig..

MELO: LOW-RANK ADAPTATION IS BETTER THAN FINE-TUNING FOR MEDICAL IMAGE DIAGNOSIS https://arxiv.org/pdf/2311.08236 https://github.com/JamesQFreeman/LoRA-ViT 메디컬 도메인이긴 하지만 Task와 Dataset에 따라 성능 개선될 여지가 있음을 보임 AdaptFormer: Adapting Vision Transformers for Scalable Visual Recognition https://arxiv.org/abs/2205.13535 https://github.com/ShoufaChen/AdaptFormer GitHub - ShoufaChen/AdaptFormer: [NeurIPS..