지속 가능한 꾸준함

with contextlib.redirect_stdout(open(os.devnull, "w")): 로 블록이 감싸져있는 건 아닌지 체크해보기 unsloth 버그 디버깅하다가 이걸로 몇 분 소요함

이렇게 많은 스타를 받은 프로젝트에 .gitignore 도 없고 cicd 는 funding 밖에 없다...! gitignore는 내가 추가해서 pr을 날려놨다. https://github.com/unslothai/unsloth-zoo/pull/31 upload .gitignore by developer0hye · Pull Request #31 · unslothai/unsloth-zooWe should make sure adding a .gitignore file for clean project.github.comhttps://github.com/unslothai/unsloth/pull/1489 upload .gitignore by developer0hye · Pull Request #1489 · unsl..

워 노스페이스 입던 내가허깅페이스 첫 스페이스 개설  https://huggingface.co/spaces/KingNish/Qwen2-VL-7B Qwen2-VL-7B - a Hugging Face Space by KingNishRunning on Zerohuggingface.co 위 스페이스를 그대로 베꼈다. 7B를 2B로 변경했고 이미지 업로드 하면 업로드한 이미지가 브라우저 창에 출력되게 수정했다. 위에 거는 업로드하면 업로드한 이미지 이름만 출력되고 이미지는 안뜬다. https://huggingface.co/spaces/developer0hye/Qwen2-VL-2B-Instruct Qwen2 VL 2B Instruct - a Hugging Face Space by developer0hyeRunnin..

회사 사무실에서 4년간 사용해온 기본 지급된 멤브레인 키보드를 대체하려고 독거미 황축 키보드를 구매했다. 소리가 생각보다 우렁차다. 과연 사무실에서 사용할 수 있을까. 일단은 월요일에 들고가서 하루 실사용해보고 팀원분들의 솔직한 후기를 들을 예정이다. 그리고 키 배열이 묘하게 불편하다. 귀찮아서 사진 첨부는 안하는데 del 키가 내가 사용해온 키보드와는 다른 곳에 위치해있다.  키보드가 높다. 원래 집에서 쓰던 것과 사무실의 멤브레인 키보드가 낮아서 더 체감이된다 이 키보드를 위해서 받침대를 깔아야할판이다. 받침대 구매로 인한 추가 소비는 지금 같은 불경기에 좋지 못하다. 내 손목을 희생할까...

import torchimport timmif __name__ == '__main__': dinov2_model_wo_reg = timm.create_model('vit_base_patch14_dinov2.lvd142m', pretrained=True) dinov2_model_w_reg = timm.create_model('vit_base_patch14_reg4_dinov2.lvd142m', pretrained=True) input = torch.randn(1, 3, 518, 518) output_wo_reg = dinov2_model_wo_reg.forward_features(input) output_w_reg = dinov2_model_w_reg.forward_feature..

제곧내

FROM CLIP TO DINO: VISUAL ENCODERS SHOUT IN MULTI-MODAL LARGE LANGUAGE MODELS  CLIP 의 서로 다른 블락에서 나오는 피쳐들을 잘 Ensemble 해주고, DNIOv2 의 서로 다른 블락에서 나오는 피쳐들을 잘 Ensemble해주고 Concat 해주고 Embedding 해준 피쳐들을 Text Embeddings이랑 잘 LLM 에 넣어주면 VLM의 성능이 올라간다고한다.   w/ MFM 은 하나의 모델에서 여러 블락에서 나온 피쳐를 Ensemble 해줬을때의 결과, 같은 모델에서 서로 다른 레이어에서 나오는 피쳐들을 활용하는거라 Ensemble이라고 하긴 뭐하긴하지만 merge보단 ensemble이라는 표현이 더 맞긴한 거 같아서 블로그에 정리..

https://github.com/unslothai/unsloth-zoo/pull/21 Add `formatting_func` to Enable Lazy Data Loading in `UnslothVisionDataCollator` by developer0hye · Pull Request #21 · unslothOverview This PR introduces a new formatting_func parameter to the UnslothVisionDataCollator, allowing for dynamic formatting of examples during data collation. This enhancement addresses a critica...github.com unsloth로 qwe..

이 파라미터 저 파라미터 건드려가며 학습시켜보고있다.  이... 이것이... 나의 멍청한 optuna입니다...

IDE 내내 켜놓을 거 아니면nohup python ~.py & 로 백그라운드로 실행되게 해야한다.