Self-Supervised Learning-Keynote Lecture Yann LeCun


Saya baru nonton video kuliah Yann LeCun tentang self supervised learning (SSL) di konferensi AAAI. Menurut beliau walaupun Deep Learning (DL) telah memberikan kontribusi besari bagi dunia Artificial Intelligence (AI), namun DL membutuhkan data yang besar.   Sebelum membahas DL, dia bercerita bahwa Supervised learning (SL) membutuhkan data training yang telah diberi label. DL tidak sama dengan SL, melainkan neural network. DL bisa diterapkan pada beberapa paradigma learning termasuk SL, Reinforcement learning, unsupervised dan SSL. Namun mayoritas algoritma DL berbasis model SL. Sistem SL kesulitan menghadapi input yang berbeda dengan contoh data training, misalnya gambar yang diambil dari sudut yang berbeda.

RL banyak digunakan di game dan simulasi. Secara dasar RL agent diberikan blank slate dan aksi apa saja yang bisa dia lakukan pada environment. Kemudian sistem melakukan trial & error sebanyak2nya untuk mendapatkan reward paling besar. Teknik ini membutuhkan tenaga komputasi yang besar, dan sesi trial error yang banyak. RL juga tidak cocok untuk transfer learning. Sehingga RL tidak cocok untuk implementasi dalam dunia nyata.

Dia bercerita ada 3 tantangan DL: 

  1. Dibutuhkan sistem AI yang dapat belajar dengan jumlah sampel / trial & eror yang sedikit
  2. Membangun sistem DL yang cerdas
  3. Membangun sistem DL yang bisa 

Untuk mengatasi 3 tantangan itu dia mengajukan SSL. SSL secara singkat dari input berupa gambar, video, maupun text, sistem bisa melakukan prediksi output yang hilang. SSL dapat menggunakan model Transformer yang sudah berhasil di NLP dan text, namun untuk input berupa video kurang bagus hasilnya. Sehingga LeCun menyarankan model Latent Variable Energy based.

Selain SSL, ada beberapa alternatif lain seperti yang ditawarkan Yoshua Bengio, maupun capsule network yang diusulkan Geoffrey Hinton. Videonya bisa dilihat disini

Semoga Bermanfaat

 

 


Silahkan tuliskan tanggapan, kritik maupun saran