지속 가능한 꾸준함

비디오(=여러 프레임)를 입력으로 하는 모델의 경우 학습하는데 요구되는 메모리 사용량이 너무 높다. PyTorch의 amp 기능덕에, 그리고 이 기능이 동작하게 GPU를 제작한 Nvidia덕에 아주 조금 숨통 틔이게는 할 수는 있지만... 쉽지 않은 거 같다. 점차 비디오 기반의 모델들이 많이 나올 거 같은데, 지금의 메인스트림급 GPU에서는 이를 트레이닝 하기가 쉽지 않은 거 같다. 점점 메모리가 큰 GPU가 출시될 거 같은데... 비싸서 집에는 들이기 힘들 거 같고 FP8 연산이 지원되는 메인스트림급 GPU가 어서 나왔으면한다. https://arxiv.org/abs/2209.05433 FP8 Formats for Deep Learning FP8 is a natural progression for a..

잘부탁해 챗지피티야

https://ouilookup.com/ OUI Lookup - MAC Address and OUI Lookup ouilookup.com 맞는건지는 모르겠다. 그냥 흥미로워서 글 작성

회사에서 한달에 한 번 두 번째 주 수요일에 2시간 점심 시간을 갖는다. 이 시간이 되면 벌써 한달이 지났구나 싶다. 그러면서 한달동안 어떤 일을 했는지 실질적으로 얼마나 개선을 시켰는지를 생각해본다. 만족스럽지 못한 한달을 보냈다 생각되면 지나간 한달에 대한 압박감과 앞으로의 한달은 과연 좋은 결과를 낼 수 있을지에 대한 공포감이 동시에 든다. 특히 요새 좀 심하다. 다음 한달은 부담감과 공포감을 덜어낼 수 있는 결과가 있기를 바라본다.

살다보니 Deformable Convolution 이 onnx에 추가가 되는구나... TensorRT에도 공식적으로 추가되면 좋겠다. 그리고 Deformable DETR에서 사용된 Deformable Attention도 추가되면 좋겠다. https://github.com/fundamentalvision/Deformable-DETR GitHub - fundamentalvision/Deformable-DETR: Deformable DETR: Deformable Transformers for End-to-End Object Detection. Deformable DETR: Deformable Transformers for End-to-End Object Detection. - GitHub - fundament..

https://developer0hye.tistory.com/516 20230401 최고 월간 방문수 경신 기존: 3,755 신: 4,197 developer0hye.tistory.com

https://github.com/IDEA-Research/DINO

https://github.com/facebookresearch/detr GitHub - facebookresearch/detr: End-to-End Object Detection with Transformers End-to-End Object Detection with Transformers. Contribute to facebookresearch/detr development by creating an account on GitHub. github.com 8 V100 GPUs 로 300에폭 세팅으로 6일이 소요된다니... 살벌하다... 프로젝트 틀만 파악하고 12~36 epoch 이내로 높은 수치의 AP를 달성해내는 Modern DETR 모델로 넘어가는 것도 생각해봐야겠다. 집 cpu가 i5이고, g..

비전쪽으로는 Masked autoencoder 방법과 DETR 을 좀 유심히 봐보려고한다. MAE(Masked autoencoder) 는 최근 핫한 Meta의 SAM(Segment Anything Model)이 MAE 로 사전학습한 모델 기반이라는 것과 이전에 리뷰했던 "Exploring Plain Vision Transformer Backbones for Object Detection" 논문에서 MAE가 성능의 핵심 요소 중 하나로 보여서 흥미가 생겼다. 요즘 2d object detection 분야에서 DETR을 기반으로한 방법들이 COCO 벤치마크에서 최상위권을 차지하고 있는 상황이다. 그런데 DETR이 Realtime object detector를 지향하고 개발되지는 않았어서 실활용은 어렵다고 판..

카이스트에서 박사 과정을 밟고 있는 형을 만나기 위해 대전에 다녀왔다. 그리고, 며칠전 폭풍 주가 상승으로 주목을 받았던 로봇 회사에 재직중인 형도 만났다. 한 형은 학계에서 활약중이고, 한 형은 산업계에서 활약중인셈이다. 한 형은 내가 그토록 원했던, 그렇지만 노력과 능력이 부족하기에 못했던 해외 저명한 컨퍼런스에 논문을 게재했고, 한 형은 말로만 듣던 스톡 옵션 대박의 주인공이 되어 집, 차를 소유하게됐다. 둘다 내가 원하던 삶이였는데 대학교 생활을 함께 보낸 사람들이 그런 삶을 살고 있으니 자극이 크게 됐다. 카이스트 투어도 다녀왔다. 형 랩도 구경했는데 오묘한 감정이 들었다. 주말에도 열심히 랩에서 연구하고 있는 연구원분들의 모습을 보자니, 이렇게 똑똑한 사람들도 평일, 주말에 나보다 더 많은 시..