지속 가능한 꾸준함

FROM CLIP TO DINO: VISUAL ENCODERS SHOUT IN MULTI-MODAL LARGE LANGUAGE MODELS  CLIP 의 서로 다른 블락에서 나오는 피쳐들을 잘 Ensemble 해주고, DNIOv2 의 서로 다른 블락에서 나오는 피쳐들을 잘 Ensemble해주고 Concat 해주고 Embedding 해준 피쳐들을 Text Embeddings이랑 잘 LLM 에 넣어주면 VLM의 성능이 올라간다고한다.   w/ MFM 은 하나의 모델에서 여러 블락에서 나온 피쳐를 Ensemble 해줬을때의 결과, 같은 모델에서 서로 다른 레이어에서 나오는 피쳐들을 활용하는거라 Ensemble이라고 하긴 뭐하긴하지만 merge보단 ensemble이라는 표현이 더 맞긴한 거 같아서 블로그에 정리..

이 파라미터 저 파라미터 건드려가며 학습시켜보고있다.  이... 이것이... 나의 멍청한 optuna입니다...

또 50달러를 추가 결제했다... 지금까지 총 150달러를 태웠다. 슬슬 부담된다. 네트워크 스토리지 200기가바이트에 4090 1대로 주로 학습중이다... 참고로 학습중인 모델은 Qwen2vl7b다. 입력 이미지 사이즈에 대한 튜닝을 통해 메모리를 조금이라도 줄여줬더니만 배치 사이즈1로 간신히 돌아간다. 지금 학습 이미지가 300장 이정도 밖에 안되는데 꽤나 미친 성능을 보여준다. 한 1만장, 5만장, 10만장 정도 되면 어느정도로 성능이 나올지 너무 궁금하다. 아직까지는 간혹다가 LLM특유의 할루시네이션 마냥 이상한 값을 반환한다거나 특정 값을 계속해서 반환하는 문제가 있다. 나는 OCR Task를 수행하도록 파인튜닝 시켜보고 있는데  예를 들면 아래 처럼 값이 나올때가 있다. 파인튜닝을 시키는 족족..

https://developer0hye.tistory.com/792 unsloth/LaTeX_OCR 로 5 에폭 파인튜닝 시킨 Qwen2VL7b 또한 아쉬울 따름https://developer0hye.tistory.com/789 unsloth/LaTeX_OCR 로 1 에폭 파인튜닝 시킨 Qwen2VL7b 는 아쉬울 따름https://colab.research.google.com/drive/1whHb54GNZMrNxIsi2wm2EY_-Pvo2QyKh?usp=sharing Qwen2 Vision Finetuning Unsloth - Maths OCR.ipynbdeveloper0hye.tistory.com ㅎㅎㅎㅎ 저번 글에서 썼다싶이 이번엔 r값을 올려서 학습시켜봤다. 이게 정답이였을까? 아니다!!! 물론 ..

https://developer0hye.tistory.com/789 unsloth/LaTeX_OCR 로 1 에폭 파인튜닝 시킨 Qwen2VL7b 는 아쉬울 따름https://colab.research.google.com/drive/1whHb54GNZMrNxIsi2wm2EY_-Pvo2QyKh?usp=sharing Qwen2 Vision Finetuning Unsloth - Maths OCR.ipynbColab notebookcolab.research.google.com 를 따라서 runpod 을 이용해서 VLM인 Qwen2vl7b를 파인튜닝 시켜developer0hye.tistory.com  Loss 는 0.2대까지 감소했다.{'loss': 1.9224, 'grad_norm': 0.7360253930091..

https://colab.research.google.com/drive/1whHb54GNZMrNxIsi2wm2EY_-Pvo2QyKh?usp=sharing Qwen2 Vision Finetuning Unsloth - Maths OCR.ipynbColab notebookcolab.research.google.com 를 따라서 runpod 을 이용해서 VLM인 Qwen2vl7b를 파인튜닝 시켜봤다. 예제 코드를 좀 수정해서 1에폭 학습을 돌려봤다. 로그는 아래와 같이 나왔다.{'loss': 1.9224, 'grad_norm': 0.7354275584220886, 'learning_rate': 4e-05, 'epoch': 0.0}{'loss': 1.9949, 'grad_norm': 0.74662840366363..

https://colab.research.google.com/drive/1whHb54GNZMrNxIsi2wm2EY_-Pvo2QyKh?usp=sharing Qwen2 Vision Finetuning Unsloth - Maths OCR.ipynbColab notebookcolab.research.google.com 위 코드 따라서 unsloth 기반으로 qwen2vl 7b모델을 unsloth/LaTeX_OCR 데이터셋으로 학습시켜보고있다.  (수식 이미지, Latex format으로 변환된 식=Label) 이렇게 Pair로 데이터셋이 존재한다. 여기서 뭘 주의해야하냐... 800x800 해상도 크기의 이미지와  아웃풋 텍스트의 길이가 500을 초과하는 샘플들이 존재한다. 그래서 학습 돌다가 이런 샘플들에 대..

https://developer0hye.tistory.com/784 처음 보는 Parquethttps://huggingface.co/docs/hub/datasets-adding#which-file-format-should-i-use Uploading datasetsUploading datasets The Hub is home to an extensive collection of community-curated and research datasets. We encourage you to share your dataset to the Hub todeveloper0hye.tistory.com 이런 글을 올렸었다. 이래서... 데이터를 처음부터 Parquet으로 올려야되구나! 하며 Parquet 공부하고 Par..

짱구도 살고 싶은 문화자이sk뷰아파트를 억지로 제목에 녹여봤습니다. 짱구는 한국에서 자기 이미지가 이렇게 소비되는 걸 알긴알까요? 단독 주택에 잘 살고 있는 짱구가 왜 아파트에 살고 싶겠어요? 각설하고 이 글에서는 멀티모달(이미지, 텍스트) 데이터셋을 허깅 페이스에 업로드하는 방법에 대해 다룹니다. 최종적으로 아래와 같은 형태의 데이터셋이 구축되고 허깅 페이스에 업로드 됩니다! https://huggingface.co/datasets/developer0hye/korocr developer0hye/korocr · Datasets at Hugging Face["OpenAI", "Playground를", "활용한", "실전", "프롬프트", "작성", "과정", "유튜브/블로그", "제목", "다듬기", "영..

https://rank.opencompass.org.cn/leaderboard-multimodal OpenCompass司南 - 评测榜单 rank.opencompass.org.cn closed 인지 open인지 다 나오고 좋다.