[Open Source Contribution] Unsloth-zoo Contribution

https://github.com/unslothai/unsloth-zoo/pull/21

Add `formatting_func` to Enable Lazy Data Loading in `UnslothVisionDataCollator` by developer0hye · Pull Request #21 · unsloth

 

unsloth로 qwen2vl7b 모델을 synthdog-ko로 파인튜닝 시켜보려고 했었다.

 

https://huggingface.co/datasets/naver-clova-ix/synthdog-ko

naver-clova-ix/synthdog-ko · Datasets at Hugging Face

 

학습 이미지가 50만장이 넘어가서 5만장만 샘플링해서 학습시켜야지~ 하고 학습시키려니까 학습전에 RAM 메모리가 부족해서 OOM이 뜨는 사태가 벌어졌다. 

 

 

원인은 예제 코드에서 찾아볼 수 있는데 미리 이미지를 RAM에 다 올려두고 학습하기 때문이다.

 

그래서 이걸 학습 과정에서 그때그때 필요할때만 이미지를 Load할 수 있는 우회로를 터놓을 수 있게 구현을 해서 PR 을 날렸고 머지됐다.

 

수정된 분량은 굉장히 적지만 임팩트는 크다고 생각하다.

 

나는 스스로 이런 류의 PR을 날릴때 속으로 굉장히 좋아하곤한다.

 

그리고! VLM, LLM  관련한 프로젝트에 기여한거라 더 기분이 좋다.

 

앞으로도 메인스트림이 되는 기술은 놓치지 않고 따라라도 가며 이렇게 실제로 코드로 기여할 수 있으면 좋겠다.