META V-JEPA

https://ai.meta.com/blog/v-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture/

V-JEPA: The next step toward advanced machine intelligence

 

SORA 공개 직후  reddit에서 줏은 짤

 

SORA에 의해 좀 묻힌 거 같은 META에서 새로 제안한 Video 기반 unsupervised learning 방법입니다. Masked Video를 모델에 입력했을때 출력되는 Feature 와 EMA로 업데이트 되는 모델에 원본 Video를 입력했을때 출력되는 Feature와의 차이를 줄이는 학습 방법을 제안했습니다.

 

Video 관련 태스크에서는 기존의 unsupervised 혹은 self-supervised learning 방법들 보다 뛰어난 성능을 보여주고 있습니다. 아직은 Image 관련 태스크에서는 Image만을 고려하여 설계된 방법들 보다는 성능이 크게 떨어지는 모습을 보이고는 있으나, 몇개월 정도 기다려보면 이제 Video에서도, Image에서도 모두 뛰어난 성능을 보이는 논문이 공개되지 않을까 기대됩니다. 혹시 DINOv3 ...?!