지속 가능한 꾸준함

보호되어 있는 글입니다.

50달러 추가 충전  여러분도 써보십시오. 아래링크로 들어가서 가입과 충전을 해주시면... 감사드리겠습니다... 꾸벅... https://runpod.io?ref=hxy1q5uk RunPod - The Cloud Built for AIDevelop, train, and scale AI models in one cloud. Spin up on-demand GPUs with GPU Cloud, scale ML inference with Serverless.www.runpod.io

https://colab.research.google.com/drive/1whHb54GNZMrNxIsi2wm2EY_-Pvo2QyKh?usp=sharing Qwen2 Vision Finetuning Unsloth - Maths OCR.ipynbColab notebookcolab.research.google.com 를 따라서 runpod 을 이용해서 VLM인 Qwen2vl7b를 파인튜닝 시켜봤다. 예제 코드를 좀 수정해서 1에폭 학습을 돌려봤다. 로그는 아래와 같이 나왔다.{'loss': 1.9224, 'grad_norm': 0.7354275584220886, 'learning_rate': 4e-05, 'epoch': 0.0}{'loss': 1.9949, 'grad_norm': 0.74662840366363..

https://colab.research.google.com/drive/1whHb54GNZMrNxIsi2wm2EY_-Pvo2QyKh?usp=sharing Qwen2 Vision Finetuning Unsloth - Maths OCR.ipynbColab notebookcolab.research.google.com 위 코드 따라서 unsloth 기반으로 qwen2vl 7b모델을 unsloth/LaTeX_OCR 데이터셋으로 학습시켜보고있다.  (수식 이미지, Latex format으로 변환된 식=Label) 이렇게 Pair로 데이터셋이 존재한다. 여기서 뭘 주의해야하냐... 800x800 해상도 크기의 이미지와  아웃풋 텍스트의 길이가 500을 초과하는 샘플들이 존재한다. 그래서 학습 돌다가 이런 샘플들에 대..

AttributeError: module 'PIL.Image' has no attribute 'ExifTags'.VLM 파인튜닝 시도중에 위와 같은 에러를 마주했다. https://huggingface.co/datasets/HuggingFaceM4/COCO/discussions/2 HuggingFaceM4/COCO · AttributeError: module 'PIL.Image' has no attribute 'ExifTags'. huggingface.co 원인은 PIL version 문제였다. 9.4.0 이상의 PIL을 설치해주면 된다.pip install "Pillow>=9.4.0"

https://developer0hye.tistory.com/784 처음 보는 Parquethttps://huggingface.co/docs/hub/datasets-adding#which-file-format-should-i-use Uploading datasetsUploading datasets The Hub is home to an extensive collection of community-curated and research datasets. We encourage you to share your dataset to the Hub todeveloper0hye.tistory.com 이런 글을 올렸었다. 이래서... 데이터를 처음부터 Parquet으로 올려야되구나! 하며 Parquet 공부하고 Par..

짱구도 살고 싶은 문화자이sk뷰아파트를 억지로 제목에 녹여봤습니다. 짱구는 한국에서 자기 이미지가 이렇게 소비되는 걸 알긴알까요? 단독 주택에 잘 살고 있는 짱구가 왜 아파트에 살고 싶겠어요? 각설하고 이 글에서는 멀티모달(이미지, 텍스트) 데이터셋을 허깅 페이스에 업로드하는 방법에 대해 다룹니다. 최종적으로 아래와 같은 형태의 데이터셋이 구축되고 허깅 페이스에 업로드 됩니다! https://huggingface.co/datasets/developer0hye/korocr developer0hye/korocr · Datasets at Hugging Face["OpenAI", "Playground를", "활용한", "실전", "프롬프트", "작성", "과정", "유튜브/블로그", "제목", "다듬기", "영..

https://huggingface.co/docs/hub/datasets-adding#which-file-format-should-i-use Uploading datasetsUploading datasets The Hub is home to an extensive collection of community-curated and research datasets. We encourage you to share your dataset to the Hub to help grow the ML community and accelerate progress for everyone. All contributions are welcome; ahuggingface.co huggingface dataset 보면 .parque..

2일차에 pod이 생성된 후 20분 정도 접속이 지연된 케이스를 제외하고 아주 잘 활용하고 있다. 본격적으로 학습은 안돌려보고 인퍼런스나 llm, vlm 프롬프트 엔지니어링 시도해볼때 정도만 좀 써보고 있다. ultralytics yolo11n 도 COCO 데이터셋으로 10에폭 정도 학습시켜봤다. AMP Check 하고 Caching 되어있는 데이터 읽어올때 좀 유독 오래 걸리긴했는데 어쨌든 학습은 됐다.(네트워크 스토리지 사용해서 그런가? 이쪽은 잘 몰라서...)  멀티 쥐피유(2x 4090)도 테스트 해보고 해보면서 버그도 발견해서 PR도 날려놨다. Child process를 무자비하게 죽이는 방식이라 메인테이너가 선뜻 머지 못시키고 있는 거 같다. https://github.com/ultralyti..

vlm ocr목적으로 파인튜닝 해보고픈데 대다수의 예제가 hugging face dataset 베이스로 돼있었다. https://huggingface.co/learn/cookbook/fine_tuning_vlm_trl Fine-Tuning a Vision Language Model (Qwen2-VL-7B) with the Hugging Face Ecosystem (TRL) - Hugging Face Open-Source AI Cookbook huggingface.co 예를 들면 이렇게 그래서 hugging face dataset 에 내 데이터셋 한 번 구축해봐야겠다 싶었고, 또 웹사이트에서 바로 dataset 시각화해서 보는 편의기능을 누릴려면 돈을 내라길래 한 번 내봤다. 두근두근...