지속 가능한 꾸준함

https://developer0hye.tistory.com/784 처음 보는 Parquethttps://huggingface.co/docs/hub/datasets-adding#which-file-format-should-i-use Uploading datasetsUploading datasets The Hub is home to an extensive collection of community-curated and research datasets. We encourage you to share your dataset to the Hub todeveloper0hye.tistory.com 이런 글을 올렸었다. 이래서... 데이터를 처음부터 Parquet으로 올려야되구나! 하며 Parquet 공부하고 Par..

짱구도 살고 싶은 문화자이sk뷰아파트를 억지로 제목에 녹여봤습니다. 짱구는 한국에서 자기 이미지가 이렇게 소비되는 걸 알긴알까요? 단독 주택에 잘 살고 있는 짱구가 왜 아파트에 살고 싶겠어요? 각설하고 이 글에서는 멀티모달(이미지, 텍스트) 데이터셋을 허깅 페이스에 업로드하는 방법에 대해 다룹니다. 최종적으로 아래와 같은 형태의 데이터셋이 구축되고 허깅 페이스에 업로드 됩니다! https://huggingface.co/datasets/developer0hye/korocr developer0hye/korocr · Datasets at Hugging Face["OpenAI", "Playground를", "활용한", "실전", "프롬프트", "작성", "과정", "유튜브/블로그", "제목", "다듬기", "영..

https://huggingface.co/docs/hub/datasets-adding#which-file-format-should-i-use Uploading datasetsUploading datasets The Hub is home to an extensive collection of community-curated and research datasets. We encourage you to share your dataset to the Hub to help grow the ML community and accelerate progress for everyone. All contributions are welcome; ahuggingface.co huggingface dataset 보면 .parque..

2일차에 pod이 생성된 후 20분 정도 접속이 지연된 케이스를 제외하고 아주 잘 활용하고 있다. 본격적으로 학습은 안돌려보고 인퍼런스나 llm, vlm 프롬프트 엔지니어링 시도해볼때 정도만 좀 써보고 있다. ultralytics yolo11n 도 COCO 데이터셋으로 10에폭 정도 학습시켜봤다. AMP Check 하고 Caching 되어있는 데이터 읽어올때 좀 유독 오래 걸리긴했는데 어쨌든 학습은 됐다.(네트워크 스토리지 사용해서 그런가? 이쪽은 잘 몰라서...)  멀티 쥐피유(2x 4090)도 테스트 해보고 해보면서 버그도 발견해서 PR도 날려놨다. Child process를 무자비하게 죽이는 방식이라 메인테이너가 선뜻 머지 못시키고 있는 거 같다. https://github.com/ultralyti..