Saya akan lanjutkan pembahasan tentang kuliah Self-Supervised Learning dari Ishan Misra. Pada tulisan sebelumnya telah dibahas tentang teknik clustering, contohnya dengan SwAV. Namun ternyata teknik clustering ini masih rentan terhadap solusi trivial. Untuk menangani solusi trivial pada clustering ada 2 solusi yang bisa dilakukan yaitu Equipartition constraint dan Soft Assignment.

Equipartition constraint

Dari N sampel dan K prototipe, maka setiap prototipe atau cluster dapat memiliki jumlah sampel maksimum N/K. Embedding dilakukan dengan membagi sampel secara rata ke setiap cluster, sehingga mencegah terjadinya solusi trivial single cluster (prototipe). Metode optimal-transport berbasis clustering seperti algoritma Sinkhorn-knopp dapat menjamin constraint (pembatasan). Maksudnya tidak akan ada cluster/prototipe yang dominan. Ukurannya juga akan seragam. Algoritma ini jauh lebih baik dibandingkan K-means.

Soft Assignment

Metode lainnya adalah soft assignment. Pada Hard assignment, setiap sampel dimasukan hanya ke sebuah prototipe. Contohnya pada gambar di atas, sebuah sampel biru hanya dimasukan ke protipe coklat. Sementara pada soft assignment, sebuah sampel dimasukan dulu ke semua prototipe dengan mendapat nilai proporsi tertentu. Nilai proporsi sebuah sampel dari semua prototipe ini kalau dijumlahkan adalah 1. Contohnya di gambar bawah, sampel biru, dimasukan ke semua jenis prototipe, ada coklat, hijau dan orange. Masing-masing memiliki nilai proporsi tertentu. Nilai proporsi ini kalau dijumlahkan adalah 1. Contohnya pada prototipe coklat nilainya 0,1 pada prototipe hijau 0,5 pada protoipe orange 0,4.

Cara ini dikatakan juga membuat soft clustering. Sampel biru dikatakan memiliki soft assignment di tiap2 prototipe, atau bisa dikatakan memiliki soft similarity.

Nilai komposisi (assignment) ini dapat dianggap sebagai sebuah kode yang menunjukan bagaimana setiap embedding diencode pada setiap prototipe space.

Contoh pada kasus dimana kita memiliki kelas yang tidak imbang. Bila kita menggunakan metode clustering equipartition, maka akan hasilnya tidak akurat, karena dibagi rata.

Metode soft assignment menyelesaikan masalah ini dengan membuat representasi dengan jumlah kelas yang lebih banyak secara logikal dibandingkan hard assignment. Teknik ini menghasilkan representasi yang lebih kaya dan tidak sensitif terhadap k (jumlah kelas) sehingga k/n. Walaupun begitu, bila hard-assignment digunakan, maka class imbalance dan jumlah nilai n/k akan membuat sistem tidak akurat.

Sampai disini dulu, pada tulisan berikutnya akan dibahas tentang metode training SwAV. Semoga bermanfaat!

Materi kuliahnya:

https://atcold.github.io/NYU-DLSP21/en/week10/10-1/

slidenya ada disini:

https://drive.google.com/file/d/1BQlWMVesOcioW69RCKWCjp6280Q42W9q/edit

Videonya: