Qwenvl2 7b 파인튜닝 실마리를 찾다!!!

https://developer0hye.tistory.com/792

unsloth/LaTeX_OCR 로 5 에폭 파인튜닝 시킨 Qwen2VL7b 또한 아쉬울 따름

 

ㅎㅎㅎㅎ

 

저번 글에서 썼다싶이 이번엔 r값을 올려서 학습시켜봤다.

 

이게 정답이였을까? 아니다!!!

 

물론 Loss 는 r = 16일때 보다 감소하는 결과를 보이긴했다.

 

하지만 추론을 해보면 완전 엉망인 값이 나왔다.

 

---

 

 

원인은 Quantization에 있었다.

 

https://colab.research.google.com/drive/1whHb54GNZMrNxIsi2wm2EY_-Pvo2QyKh?usp=sharing

Qwen2 Vision Finetuning Unsloth - Maths OCR.ipynb

 

예제 코드 보면

 

모델 Load시에 load_in_4bit이 True로 돼있다.

 

이렇게 Load한다음에 원래 Qwen2VL 예시 코드로는 잘나오던 샘플(이미지, 프롬프트)를 입력했을때 완전 엉뚱한 값이 나오는 걸 확인했다. 그리고 이걸 False로 변경하자 내가 원하던 Expected Results를 얻을 수 있었다. 그래서! 학습도 저걸 True로 둔채로 학습을 하니 내가 원하는 수준으로 학습이 됐다.

 

일단 unsloth/LaTeX_OCR데이터셋에 대한 학습은 더이상 안할거다. 왜냐! 내가 학습시키고 싶었던 나만의 커스텀 데이터셋에서 학습이 됨을 확인했기 때문이다. 이제는... Feasibility를 보았으니 데이터를 수집할 차례이다.

 

https://github.com/unslothai/unsloth/issues/1347

Qwen2-VL not working correctly when loaded in 4bit · Issue #1347 · unslothai/unsloth

 

알고보니 unsloth이슈란에 같은 문제를 겪은 사람이 있었다.