지속 가능한 꾸준함

오늘도 결제를 했다. h100, 4090두대로 운용하니까 그냥 돈이 살살 녹는다. 이제 부담이 많이 돼서 묻고 더블로 가 짤을 올릴 수가 없다. 이러다 카지노의 호구형이 될 거 같다.

또 50달러를 추가 결제했다... 지금까지 총 150달러를 태웠다. 슬슬 부담된다. 네트워크 스토리지 200기가바이트에 4090 1대로 주로 학습중이다... 참고로 학습중인 모델은 Qwen2vl7b다. 입력 이미지 사이즈에 대한 튜닝을 통해 메모리를 조금이라도 줄여줬더니만 배치 사이즈1로 간신히 돌아간다. 지금 학습 이미지가 300장 이정도 밖에 안되는데 꽤나 미친 성능을 보여준다. 한 1만장, 5만장, 10만장 정도 되면 어느정도로 성능이 나올지 너무 궁금하다. 아직까지는 간혹다가 LLM특유의 할루시네이션 마냥 이상한 값을 반환한다거나 특정 값을 계속해서 반환하는 문제가 있다. 나는 OCR Task를 수행하도록 파인튜닝 시켜보고 있는데  예를 들면 아래 처럼 값이 나올때가 있다. 파인튜닝을 시키는 족족..

https://developer0hye.tistory.com/792 unsloth/LaTeX_OCR 로 5 에폭 파인튜닝 시킨 Qwen2VL7b 또한 아쉬울 따름https://developer0hye.tistory.com/789 unsloth/LaTeX_OCR 로 1 에폭 파인튜닝 시킨 Qwen2VL7b 는 아쉬울 따름https://colab.research.google.com/drive/1whHb54GNZMrNxIsi2wm2EY_-Pvo2QyKh?usp=sharing Qwen2 Vision Finetuning Unsloth - Maths OCR.ipynbdeveloper0hye.tistory.com ㅎㅎㅎㅎ 저번 글에서 썼다싶이 이번엔 r값을 올려서 학습시켜봤다. 이게 정답이였을까? 아니다!!! 물론 ..

https://developer0hye.tistory.com/789 unsloth/LaTeX_OCR 로 1 에폭 파인튜닝 시킨 Qwen2VL7b 는 아쉬울 따름https://colab.research.google.com/drive/1whHb54GNZMrNxIsi2wm2EY_-Pvo2QyKh?usp=sharing Qwen2 Vision Finetuning Unsloth - Maths OCR.ipynbColab notebookcolab.research.google.com 를 따라서 runpod 을 이용해서 VLM인 Qwen2vl7b를 파인튜닝 시켜developer0hye.tistory.com  Loss 는 0.2대까지 감소했다.{'loss': 1.9224, 'grad_norm': 0.7360253930091..