지속 가능한 꾸준함

깔짝 깔짝 LLM, VLM 에 관심을 기웃 기웃 거려보고 있습니다. 아직 잘 모르고 예제 코드만 돌려본 정도 입니다. 먼저 Llama3 8B 모델의 경우 모델 웨이트 업로드에만 15~16GB 가 소요됐었습니다. 이러면... 집에서 3070 8GB  GPU로 이것 저것 뭔가 해보려는 저는 할 수가 없습니다. 모델 일부만 GPU에 업로드 한다거나? 하는 방식이 있지 않을까 싶은데 아직 찾아보지는 않았습니다. 보니까 llm 모델들은 대체로 4bit quantization 모델도 같이 공개가 되는 경우가 많더라고요! 이중에는 서울과학기술대학교 주도로 학습되고 공개된 웨이트가 존재하였습니다. https://huggingface.co/MLP-KTLim/llama-3-Korean-Bllossom-8B-gguf-Q4_..

ChatGPT가 작성해줌 Linux에서 디스크 공간을 효율적으로 관리하고, 하위 폴더와 파일의 크기를 쉽게 확인할 수 있는 방법 중 하나는 du 명령어를 사용하는 것입니다. 특히, 파일과 폴더를 모두 확인하고 싶다면 du -ah 옵션을 사용하는 것이 가장 효과적입니다. 이 글에서는 du -ah 명령어를 통해 하위 파일과 폴더의 크기를 확인하는 방법을 자세히 소개하겠습니다.하위 폴더/파일의 크기 확인하는 명령어 du디렉토리 안의 파일 및 폴더들의 크기를 확인하려면 du 명령어를 사용합니다. 이때 -a 옵션을 추가하여 폴더뿐만 아니라 모든 파일의 크기도 함께 출력할 수 있습니다.기본적인 명령어는 다음과 같습니다:du -ah --max-depth=1위 명령어를 사용하면 현재 디렉토리 내의 모든 파일 및 하위 ..

ChatGPT에게 물어봄 find /path/to/your/directory -mindepth 2 -type f | awk -F'/' '{print $3}' | sort | uniq -c 여기서 각 부분의 설명은 다음과 같습니다:find /path/to/your/directory -mindepth 2 -type f: 최상위 폴더를 기준으로 그 아래의 모든 파일을 찾습니다. -mindepth 2는 최상위 폴더 바로 밑에 있는 파일과 폴더는 제외하고 그 아래 폴더들의 파일만을 대상으로 합니다.awk -F'/' '{print $3}': 각 파일의 경로를 /로 구분하여 최상위 폴더 바로 밑에 있는 디렉토리명을 추출합니다. 3번째 필드를 선택한 이유는 /path/to/your/directory에서 /path/to..

https://developer0hye.tistory.com/753 돌려보고 싶은데 귀찮아서 망설이고 있는 Human Detection Model MMPedestron (1)ECCV2024에 "When Pedestrian Detection Meets Multi-Modal Learning: Generalist Model and Benchmark Dataset" 란 제목의 논문이 Accept 된 것을 확인했습니다. https://arxiv.org/pdf/2407.10125 https://github.com/BubblyYi/MMPedestron  Multi-Moddeveloper0hye.tistory.com  오류가 막~막~ 난다.  https://www.youtube.com/watch?v=R_YdAer_H7..

sudo apt-get remove --purge innorixessudo apt-get autoremovesudo apt-get clean ubuntu 22.04 는 아직 aihub 에서 데이터를 다운로드 받을 수 없는건가? ㅜㅜ

sudo apt-get updatesudo apt-get install libgl1-mesa-glxsudo apt-get install libglib2.0-0 sudo 안붙여도 되면apt-get updateapt-get install libgl1-mesa-glxapt-get install libglib2.0-0

대단하다. 내 개그도 알아주는 챗지피티

챗군에게 묻다! 클로바에게 묻다! 이... 이것이 소버린 ai??  맨부커 국제상까지는 아 챗군과 비슷하게 답변하네 라고 생각했는데 노벨문학상 수상이라는 최근 정보까지 알고 있는 것에 놀랐다! 아 모델의 학습보다는 데이터베이스에 저장된 데이터를 기반으로 RAG기법을 이용해서 답변한걸수도 있겠다 싶었다!

주변인들이 이직 의사를 묻는다. 어떠한 회사에 가고 싶냐고 묻는다. 원래 회사에서 4x A5000 GPU 서버를 학습용 서버로 사용하고 있었다. 그러다가, 이번 년도에 8x A6000 GPU 서버가 새로 들어와서 학습용 서버로 사용해보고 있다. 정말 할 수 있는 게 확 늘어났음을 느꼈다. 내 생각의 한계와 내가 할 수 있는 작업의 스케일이 하드웨어 스펙에 의존적일 수 밖에 없다는 걸 느꼈다. 데이터 전처리 과정에서도 그렇고 학습에서도 그렇고 해볼 수 있는 게 많아졌다. 이걸 한 번 느끼니 더 좋은 스펙의 서버를 눈치 안보고 비용 걱정없이 마음껏 사용할 수 있으면 더 좋겠다는 생각이 들었다. 예를 들면 8x H100 GPU 서버라던가... 정안되면 8x RTX 6000 Ada 라던가... 사실 지금 8x ..

새로운 변화를 주고자 기존에 집에서 사용하던 pc에 ubuntu 22.04 를 설치했다. vscode, docker, nvidia-docker 만 설치했다. 카카오톡을 설치할려면 wine이란 거를 같이 설치해야했는데, 한글 호환이 제대로 안되고 호환되게 할려면 이것 저것 설치해야하길래 그냥 설치 안했다. 앞으로 집에서 pc 사용시 온전히 더 집중할 수 있어서 오히려 좋은걸지도 모르겠다. 기존 자료를 하나도 백업 안하고 뒤도 안보고 그냥 밀어버리고 클린하게 재설치했다. 대부분의 개발 환경이 linux에 맞춰져있는데 그동안은 집에서 뭔가를 하려고 하면 os가 윈도우10이다 보니 억지로 wsl로 하고 또 wsl로 하면 하나 둘씩 wsl을 위한 별도의 설정을 따로 해주는 과정이 필요했는데 앞으로 이런 과정이 생..