Paper Title:Bootstrap Your Own Latent; A new approach to self-supervised learning
Authors: Jean Bastian Grill, Florian Strub, Florent Altche, Corentin Tallec, Pierre H.Richemond, Elena Buchatskaya, Carl Doersch, Bernardo Avila Pires, Zhaohan Daniel Guo, Mohammed Gheshlaghi Azar, Bilal Piot, Koray Kavukcuoglu, Remi Munos, Michal Valko
Venue: Advances in Neural Information Processing Systems 33 (NeurIPS 2020)
URL: https://arxiv.org/pdf/2006.07733
Problem:
Mendapatkan image representasi yang baik adalah sebuah tantangan dalam computer vision. Banyak pendekatan training telah diajukan untuk mengatasi tantangan ini diantaranya mengandalkan pada visual pretext task, seperti metoda contrastive dengan melakukan traning dengan mengurangi distance antara representasi dari augmented views yang berbeda dari gambar yang sama (positive pair) dan meningkatkan distance antara representasi dari augmented view dari gambar berbeda (negative pair).
Namun metode ini membutuhkan treatment khusus untuk negative pairs dan performansinya tergantung pada pemilihan image augmentation
Contribution:
- Mengenalkan BYOL, metode SSL (self-supervised Learning) baru
- BYOL menghasilkan performa lebih baik dibandingkan state-of-the-art semi-supervised dan transfer benchmarks
- BYOL lebih kuat terhadap perubahan batch size pada set augmentasi gambar dibandingkan pendekatan contrastive
Method/solution
- BYOL menggunakan 2 neural network: online dan target
- Online network ditentukan dengan sebuah set weight θ dan dibagi menjadi tiga tahapan: sebuah encoder fθ , projector g0 dan predictor q0
- Target network memiliki arsitektur yang sama dengan online network, tapi memiliki weight yang berbeda
- Target network menyediakan target regresi untuk train online network, dan parameternya secara exponensial mengubah rata-rata dari parameter 0
- Dari sebuah set image D, image x->D disampling dari D, dan 2 distribusi dari augmentasi image T dan T‘
- BYOL menghasilkan dua augmented view v dan v’
- Dari augmented view pertama v, online network menghasilkan representasi y0 dan proyeksi z0
- Target network menghasilkan y’ dan target proyeksi z’ dari augmented view v’
- Kemudian dihasilkan output prediksi q0 dari z’ dan l2 normalisasi q0 dan z’
- Prediktor ini hanya diterapkan pada online branch, sehingga arsitektur asimetrik antara online dan target
- Pada setiap training step, dilakukan optimasi stokastik untuk minimasi L0
- Pada setiap akhir training kita hanya menyimpan f0
- Dibandingkan metode lain, diperhitungkan juga jumlah inference time weight hanya pada representasi akhir f0
- Pengujian dilakukan dengan dataset ILSVRC-2012
- Benchmark adalah semi-supervised pada ImageNet
- Diukur transfer capability dari dataset dan task lain, termasuk klasifikasi, segmentasi, deteksi objek dan estimasi depth
Main result
- BYOL mencapai performansi lebih baik dibandingkan metode state-of-the-art contrastive method tanpa negative pairs
- Pada pengujian linear evaluasi pada ImageNet BYOL mencapai akurasi top-1 74,3%
- Mengurangi gap dengan supervised baseline 78,9%
- Pada arsitektur yang lebih dalam dan lebih lebar, menghasilkan performa 79,6% (top-1) akurasi. Lebih baik dibandingkan state-of-the-art self-supervised
- Pada ResNet-50 BYOL mencapai akurasi 78,5% hamper menyerupai supervised baseline 78,9% pada arsitektur yang sama
- Mengginakan protocol semi-supervised dengan 1% dan 10% dataset ImageNet dihasilkan akurasi top-1 77,5% setelah fine-tuning diperoleh 100%
- Pengujian transfer ke task classification lain, BYOL menghasilkan performa lebih baik dibandingkan SimCLR pada semua benchmark dan Supervised-IN pada 7 dari 12 benchmark
- Representasi BYOL bisa ditransfer ke small images seperti COFAR, landscape (SUN397) , VOC 2007 dan teksture (DTD)
- Transfer ke task lain pada vision seperti semantic segmentasi, object detection dan depth estimasi, BYOL lebih baik dibandingkan baseline
Limitation:
- Fokus pada vision, belum diuji pada audio, video, text dl
- membutuhkan kemampuan dan resource besar untuk proses augmentasi untuk implementasi pada modal lainnya