[32] Barlow Twins: Self-Supervised Learning via Redundancy Reduction

[Dongwoo-Im]

Links

• Paper : https://arxiv.org/abs/2103.03230
• Github : https://github.com/facebookresearch/barlowtwins

한 줄 요약

• SSL 학습에서 embedding vector 간 redundancy reduction을 수행하는 objective를 적용하면 collapsing 방지를 위한 trick들을 적용할 필요가 없다는 인사이트를 바탕으로, Barlow Twins를 제안합니다.

선택 이유

• 얀 르쿤님이 참여한 self-supervised learning 논문들을 읽어보기 위해 (아마 그 중 처음으로 보이는) barlow twins 논문을 선정했다. 이후 VICReg, VICRegL를 비롯하여 다양한 논문들을 작성하셨다.

[Dongwoo-Im]

https://dongwoo-im.github.io/papers/review/2023-04-24-BarlowTwins/