[Open Source Contribution] timm segment anything vit model 관련 기여

https://github.com/huggingface/pytorch-image-models/pull/1914

Set self.num_features to neck_chans if neck_chans > 0 for vision_transformer_sam by developer0hye · Pull Request #1914 · huggi

 

1줄 짜리 기여

 

요새 sam(segment anything)에 관심이 좀 생겼다. 특히 foundation model 이라고 하니 sam의 image encoder 쪽을 잘 갖다 쓰면 좀 재밌는 결과가 나오지 않을까란 기대가 있다. 그래서 sam 의 image encoder 를 쉽게 쓸 수 있게 saab 라는 패키지를 만들려고 했었다. saab 이란 saas 느낌으로 segment anything as a backbone 의 줄임말로 말장난 느낌으로 쌉가능할때 쌉 느낌을 좀 내고 싶었는데, 누군가 timm의 친절히 segment anything 에서 쓰인 vit를 이미 구현해놓았다. 그런데 여기서, 특이한 점이 sam의 vit에는 neck 이 encoder 쪽에 붙여져 있는데 sam vit를 backbone으로 쓸때 feature를 neck에서 나온걸 쓸지, neck 통과 전 피쳐를 쓸지에 대한 옵션이 존재한다. default는 neck에서 나온 걸 쓰게 돼있다. 그렇다면 유저가 model의 num_features를 호출했을때 기대할 수 있는 값은 neck 을 통과한 피쳐맵의 채널 수 일 것이다. 그런데 그렇게 안돼고 항상 neck 통과 전 피쳐맵의 채널 수가 num_features로 정의되는 문제가 있어 이를 수정했다.

 

어후 코드는 한 줄 추가했는데, 부연 설명할 건 너무 많다.