지속 가능한 꾸준함

https://github.com/LAION-AI/CLIP_benchmark/blob/main/benchmark/results.ipynb GitHub - LAION-AI/CLIP_benchmark: CLIP-like model evaluation CLIP-like model evaluation. Contribute to LAION-AI/CLIP_benchmark development by creating an account on GitHub. github.com CLIP 모델(모델이라고 하는게 맞을까...? 아무튼)은 크게 OpenAI 에서 학습된 모델과 LAION 에서 학습된 모델이 존재한다. 각 모델별로 LAION 에서 벤치마크 결과를 정리해놓았다. 위 ipynb파일을 보면된다.

저번에 비가 와서 테니스 레슨을 받지 못했다. 인터넷에서 찾아보니 실외 테니스는 보통 이런 경우 수업이 아예 취소된다는데 휴일에 따로 시간을 내주셔서 수업을 받을 수 있게 해주셨다. 감사합니다. 그런데...! 테니스 코트에 도착하니 비가 왔다. 다행히도 비는 10~20분후 그쳤다. 레슨을 짧은 기간내에 연달아 받다보니 뭔가 오늘따라 잘된다는 느낌이 들었다. 레슨을 회사 동료분과 같이 듣는데, 운이 좋게도 다음 시간에 코트 사용자가 없어서 끝나고 1시간 더 둘이서 게임이라 생각하고 공을 주고 받았다. 다음날이 회사에서 발표날인데 발표자료를 못만들어서 마음의 부담이 컸지만 우선 테니스를 죽어라 치고, 집에 와서 발표자료를 만들었다. 한 새벽12시 50분까지 만들었다. 자료를 만들면서 이것저것 찾아보다가 인사..

아직도 포핸드와 백핸드만 연습중이다. 2주만이라 그런지 수업 초기에 아주 의욕이 팍 식는 샷들을 쳐댔다. 한 5번 연속 네트도 못넘기고 이상한 방향으로 가는 공들을 보고 있으면 내가 정말 운동신경이 없구나 싶다. 수업이 마칠때쯤에야 다시 조금 감각을 찾을 수 있었다. 일주일에 한 번으로는 부족한 거 같다. 그전에 무인 실내 테니스 연습장에서도 혼자서 몇 번 쳤는데 실외에서 다른 공으로 치려니 느낌이 또 달랐다... 게임은 1승 1패로 마쳤다. 소림 테니스 벽력일섬을 테니스 코트위에서 구현할때까지 정진. 이 아니고 이렇게 하면 안된다.

import timm model = timm.create_model('vit_small_patch32_384', pretrained=pretrained, num_classes=0, img_size=[640, 640]) img_size 를 정의해주면 된다. https://github.com/huggingface/pytorch-image-models/blob/main/timm/models/vision_transformer.py#L389 GitHub - huggingface/pytorch-image-models: PyTorch image models, scripts, pretrained weights -- ResNet, ResNeXT, EfficientNet, E PyTorch image models, scr..

기자인 친구와 대화를 나누던 중 챗지피티에게 사람의 특성을 학습시킬 수 있냐는 질문을 받았다. 친구와의 카톡 대화 기록을 챗군에게 전달하고 포맷을 정의해줬다. 비고 욕설을 안하는데 일부러 xx웃기네를 예시로 들어준 것...

챗지피티 유료버전의 경우 검색된 결과를 바탕으로 답변을 생성할 수 있다. 아무 뉴스나 골라서 요약을 요청해봤다. https://www.yonhapnewstv.co.kr/news/MYH20230525001000641 "포사격 훈련 멈춰주세요"…잇단 산불에 주민들 '불안' "포사격 훈련 멈춰주세요"…잇단 산불에 주민들 '불안' [앵커] 이달 들어 강원지역에서는 군부대 포사격 훈련으로 인한 산불이 3건이나 발생했습니다. 산불 조심 기간은 끝났지만 www.yonhapnewstv.co.kr:443 그런데, 한국에서 요약이란 "3줄로 정리된 글"임은 학습하지 못한 것 같다. 잘한다. 잘한다. 잘한다.

데이터 구축 과정에서 비디오 및 이미지를 전처리할때 ffmpeg을 활용하는 빈도수가 높다. 챗지피티를 활용하여 ffmpeg 과 python을 이용해서 내가 원하는 작업을 수행하는 스크립트를 짜달라고 요청을 해봤다. 아주 아주 아주 잘 알아듣고 코드도 잘 제안해준다. 챗군이라는 별명도 지어줬다. "아니 아까 말한 문제말이야" 를 알아듣는다. 코드를 제안해주는 것보다 이런 걸 이해한다는 부분이 더 놀랍다. 표현도 추천해준다. 변수명으로부터의 자유

비디오(=여러 프레임)를 입력으로 하는 모델의 경우 학습하는데 요구되는 메모리 사용량이 너무 높다. PyTorch의 amp 기능덕에, 그리고 이 기능이 동작하게 GPU를 제작한 Nvidia덕에 아주 조금 숨통 틔이게는 할 수는 있지만... 쉽지 않은 거 같다. 점차 비디오 기반의 모델들이 많이 나올 거 같은데, 지금의 메인스트림급 GPU에서는 이를 트레이닝 하기가 쉽지 않은 거 같다. 점점 메모리가 큰 GPU가 출시될 거 같은데... 비싸서 집에는 들이기 힘들 거 같고 FP8 연산이 지원되는 메인스트림급 GPU가 어서 나왔으면한다. https://arxiv.org/abs/2209.05433 FP8 Formats for Deep Learning FP8 is a natural progression for a..

아직도 포핸드와 백핸드만 번갈아가며 배우고 있다. 마음대로 되지 않는다. 오늘도 경기를 진행했는데 2패를 기록했다. 한 경기는 3대0으로 이기다가 3대4로 졌다. 멘탈이 무너지니 서브는 다 더블폴트나고 받아치는 공은 아웃 혹은 네트에 걸리기 일쑤다. 왜 중간에 경기가 풀리지 않을때 라켓을 부수는 과격한 행위를 하는지 https://www.youtube.com/watch?v=1eDDzqG0sXw 왜 루틴을 통해 마음을 가다듬는지 https://www.youtube.com/watch?v=XQyMM9vP-vE 이해가 되기도 한다. 테니스 장 옆에 아파트 단지가 있다. 되게 아늑해보인다. 살아보고 싶다. 그치만 아직은 못사요.