[27] AdaptFormer: Adapting Vision Transformers for Scalable Visual Recognition

[Dongwoo-Im]

Links

• Paper : https://arxiv.org/abs/2205.13535
• Github : https://github.com/ShoufaChen/AdaptFormer

한 줄 요약

• ViT의 FFN module에 AdaptMLP branch를 residual connection하는 AdaptFormer 제안
• Image, Video classification 에서 성능을 검증하였지만, dense prediction에 대한 연구가 포함되지 않은 것은 아쉽다.
• 아직 읽어보진 않았지만 관심 있다면 Visual Prompt Tuning (VPT), ViT-Adapter 논문도 읽어보면 좋을 것 같다.

선택 이유

• Adapter 모듈이 network 구조에 어떻게 적용될 수 있는지 궁금하여 찾아보다가 선택

[Dongwoo-Im]

https://dongwoo-im.github.io/papers/review/2023-04-19-AdaptFormer/