Saya lagi baca tulisan menarik dari Yann LeCun dan Ishan Misra dari tim Facebook tentang Self-supervised learning. Berikut ini saya terjemahkan dan rangkum isi tulisan tersebut:
Artificial intelligence (AI) telah mengalami perkembangan yang pesat. Perkembangan ini mengandalkan proses AI yang belajar dari data yang banyak dan telah diberi label. Teknik ini disebut supervised learning (SL). Namun ada kekurangan dari metode SL. Yaitu memberi label pada data tidak mudah, dan membutuhkan usaha yang besar. Selain itu ada juga beberapa bidang yang tidak memiliki data yang cukup, misalnya untuk training sistem penerjemahan bahasa untuk bahasa yang tidak banyak digunakan.
Untuk itu diperlukan pendekatan AI yang berbeda, yang tidak mengandalkan SL. Pendekatan yang lebih mendekatan sistem kecerdasan manusia. Pada saat kita masih bayi, kita belajar mengenal dunia melalui pengamatan. Dari hasil pengamatan kita membentuk model prediksi tentang benda dan obyek yang ada disekitar kita. Dari pengamatan juga kita dapat mempelajari konsek kekelan obyek dan gravitasi. Semakin dewasa, kita mulai mengamati dunia, mengambil tindakan dan melakukan pengamatan lagi, kemudian membangun hipotesa untuk menjelaskan bagaimana tindakan kita mempengaruhi lingkungan dengan proses coba-coba (trial & error).
Hipotesa yang kita pelajari membentuk pengetahuan kita tentang dunia, atau akal sehat. Seperti itulah sistem kecerdasan manusia dan binatang dibentuk. Akal sehat ini merupakan anugrah yang dimiliki manusia dan binatang, namun meniru kecerdasan ini menjadi tantangan terbesar para peneliti AI. Akal sehat membantu manusia mempelajari keahlian baru tanpa membutuhkan proses pembelajaran yang besar pada setiap tugas. Contohnya bila kita tunjukan beberapa gambar sapi pada anak kecil, mereka dapat mengenali sapi manapun yang mereka lihat. Sementara bila kita bandingkan dengan sistem AI dengan SL membutuhkan contoh gambar sapi yang banyak dan seringkali gagal melakukan klasifikasi gambar sapi pada kondisi yang berbeda, contohnya gambar sapi yang sedang rebahan di pantai.
Contoh lainnya bagaimana cara manusia dapat belajar mengemudikan sebuah kendaraan hanya dengan latihan sebanyak 20 jam dengan proses supervisi yang sedikit, sementara sistem kemudi otomatis berbasis AI (autonomous driving) masih belum berhasil, padahal telah menggunakan sistem AI terbaik dengan proses training dan data ribuan jam dengan supervisi dari orang?
Jawabannya adalah manusia mengandalkan pengetahuan sebelumnya (background knowledge) tentang bagaimana dunia bekerja. Pertanyaannya sekarang bagaimana kita membuat mesin yang mampu melakukan hal yang sama dan meniru sistem kecerdasan manusia?
Self-supervised learning (SSL) adalah metode yang menjanjikan untuk membangun background knowledge dan diperkirakan dapat membentuk semacam akal sehat buatan bagi sistem AI. SSL memungkinkan sistem AI dapat belajar dari jumlah data yang lebih banyak, yang dibutuhkan untuk mengenali dan memahami pola yang lebih halus dan representasi yang tidak umum. SSL telah berhasil di NLP diantaranya pada metode Collobert-Weston 2008 model, Word2Vec, GloVE, fastText, dan yang lebih baru, BERT, RoBERTa, XLM-R, dan lain-lain. Model yang dilatih dengan cara ini akan menghasilkan performa yang lebih tinggi dibandingkan metoda Supervised learning.
Proyek riset terbaru Facebook SEER mempengaruhi SwAV dan metode baru lainnya untuk dapat melakukan pretraining network besar pada milliaran gambar random yang tidak memiliki label, menghasilkan akurasi tinggi pada berbagai task vision. Perkembangan ini menunjukan bahwa SSL unggul dalam menyelesaikan permasalahan computer vision yang kompleks.
Sampai disini dulu, besok insyaallah saya lanjutkan lagi, nanti akan ada bahasan tentang model energy-based untuk prediksi adanya ketidakpastian, metode joint embedding methods dan arsitektur latent-variable architectures untuk self-supervised learning dan reasoning pada sistem AI.
Semoga bermanfaat!
Sumber:
https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence
https://github.com/Atcold/NYU-DLSP21