Tulisan ini lanjutan tulisan sebelumnya tentang self-supervised learning

Pada tulisan sebelumnya telah diceritakan tantangan penerapan SSL pada komputer vision adalah tentang pemodelan ketidakpastian. Untuk memahami tentang tantangan ini, kita perlu memahami prediksi dari ketidakpastian dan bagaimana dia dimodelkan di NLP dibandingkan dengan pada Vision. Di NLP, melakukan prediksi kata yang hilang melibatkan penghitungan skor prediksi pada setiap kata yang mungkin pada kosakata. Meskipun kosakata sendiri adalah besar, dan melakukan prediksi kata yang hilang melibatkan beberapa ketidakpastian, dimungkinkan untuk menghasilkan daftar dari kata-kata yang mungkin pada kosakata bersama dengan perkiraan munculnya kata tersebut pada lokasi yang kosong. Sistem mesin learning umumnya memperlakukan masalah ini sebagai masalah klasifikasi dan menghitung skor dari setiap output menggunakan layer besar yang dinamakan layer softmax. Layer ini melakukan transformasi skor kasar menjadi sebuah distribusi probabilitas dengan kata-kata. Dengan teknik ini ketidakpastian dari prediksi direpresentasikan dengan sebuah distribusi probabilitas dari semua keluaran yang mungkin, asalkan ada sejumlah kemungkinan output yang terbatas.

Sementara itu pada komputer vision, tugas yang dilakukan adalah melakukan prediksi frame yang hilang pada sebuah video, atau patch yang hilang pada sebuah gamnar atau segmen yang hilang pada sebuah sinyal suara. Task ini melibatkan prediksi obyek kontinu dengan dimensi tinggi dibandingkan output yang diskrit. Ada banyak sekali kemungkinan frame video yang mengikuti frame video yang diberikan. Tidak mungkin untuk merepresentasikan semua frame yang mungkin dan mengaitkan skor prediksinya. Faktanya kita tidak memiliki teknik untuk merepresentasikan distribusi probabilitas yang cocok untuk ruang kontinyu berdimensi tinggi seperti frame video. Implementasi SSL di Vision memang lebih rumit dibandingkan NLP.

Sampai disini dulu, besok insyaallah saya lanjutkan tentang framework metode SSL. Semoga bermanfaat!

referensi :

https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence