Self-Supervised Learning-Keynote Lecture Yann LeCun

Saya baru nonton video kuliah Yann LeCun tentang self supervised learning (SSL) di konferensi AAAI. Menurut beliau walaupun Deep Learning (DL) telah memberikan kontribusi besari bagi dunia Artificial Intelligence (AI), namun DL membutuhkan data yang besar.   Sebelum membahas DL, dia bercerita bahwa Supervised learning (SL) membutuhkan data training yang telah diberi label. DL tidak sama dengan SL, melainkan neural network. DL bisa diterapkan pada beberapa paradigma learning termasuk SL, Reinforcement learning, unsupervised dan SSL. Namun mayoritas algoritma DL berbasis model SL. Sistem SL kesulitan menghadapi input yang berbeda dengan contoh data training, misalnya gambar yang diambil dari sudut yang berbeda.

RL banyak digunakan di game dan simulasi. Secara dasar RL agent diberikan blank slate dan aksi apa saja yang bisa dia lakukan pada environment. Kemudian sistem melakukan trial & error sebanyak2nya untuk mendapatkan reward paling besar. Teknik ini membutuhkan tenaga komputasi yang besar, dan sesi trial error yang banyak. RL juga tidak cocok untuk transfer learning. Sehingga RL tidak cocok untuk implementasi dalam dunia nyata.

Dia bercerita ada 3 tantangan DL: 

  1. Dibutuhkan sistem AI yang dapat belajar dengan jumlah sampel / trial & eror yang sedikit
  2. Membangun sistem DL yang cerdas
  3. Membangun sistem DL yang bisa 

Untuk mengatasi 3 tantangan itu dia mengajukan SSL. SSL secara singkat dari input berupa gambar, video, maupun text, sistem bisa melakukan prediksi output yang hilang. SSL dapat menggunakan model Transformer yang sudah berhasil di NLP dan text, namun untuk input berupa video kurang bagus hasilnya. Sehingga LeCun menyarankan model Latent Variable Energy based.

Selain SSL, ada beberapa alternatif lain seperti yang ditawarkan Yoshua Bengio, maupun capsule network yang diusulkan Geoffrey Hinton. Videonya bisa dilihat disini

Semoga Bermanfaat

 

 

Materi Kuliah Machine Learning UI

Barusan dapet share materi kuliah machine Learning dari UI ADVANCED MACHINE LEARNING. 

Deskripsi Mata Kuliah

Mata kuliah ini membahas metodologi pembelajaran mesin lanjut dimana fokus dari metode pembelajaran mesin yang akan dibahas adalah deep learning. Mata kuliah akan dibagi menjadi dua sesi, yakni sesi tengah semester pertama (sebelum pekan UTS) dan sesi tengah semester kedua (setelah pekan UTS). Pada sesi pertama, topik-topik yang dibahas adalahsejarah dan motivasi pengembangan metode deep learning, dasar-dasar pembelajaran mesin (statistika dan probabilistik), model pembelajaran mesin regresi (regression), gradient descent, artificial neural network, pendekatan modern dari artificial neural network, dan berbagai macam bentuk arsitektur deep learning. Mahasiswa akan dilatih untuk membiasakan diri dengan konsep-konsep dasar serta model persamaan matematika yang sering digunakan dalam pengembangan model deep learning dan implementasinya menggunakan Python dan berbagai libraries untuk machine/deep learning.

Pengajar

• Prof. Dr. Wisnu Jatmiko, SMIEEE
Guru Besar Fasilkom UI / Ketua IEEE Indonesia 2019 & 2020

• Muhammad Febrian Rachmadi, Ph.D.
RIKEN – Center for Brain Science

Materi

  1. Pengantar | Kuliah Pemelajaran Mesin Lanjut 2020 | Fasilkom UI
    https://www.youtube.com/watch?v=ijuH19K1NIM
  2. Dasar-dasar Pembelajaran Mesin | Kuliah Pemelajaran Mesin Lanjut 2020 | Fasilkom UI
    https://www.youtube.com/watch?v=GFolOn3inqg

  3. Regression | Kuliah Pemelajaran Mesin Lanjut 2020 | Fasilkom UI
    https://www.youtube.com/watch?v=5qUu7v0yRJU

  4. Regression dengan Gradient Descent | Kuliah Pemelajaran Mesin Lanjut 2020 | Fasilkom UI
    https://www.youtube.com/watch?v=rr7QeJMRzRk&t=561s

  5. Neural Network | Kuliah Pemelajaran Mesin Lanjut 2020 | Fasilkom UI
    https://www.youtube.com/watch?v=RITyQeYUbKU

  6. Arsitektur CNN untuk Computer Vision | Kuliah Pemelajaran Mesin Lanjut 2020 | Fasilkom UI
    https://www.youtube.com/watch?v=xHOpZXS4u2A&t=169s

  7. Training Deep Neural Networks (Bagian 1) | Kuliah Pemelajaran Mesin Lanjut 2020 | Fasilkom UI
    https://www.youtube.com/watch?v=KmYVUgHmWOg&t=11s

  8. Training Deep Neural Networks (Bagian 2) | Kuliah Pemelajaran Mesin Lanjut 2020 | Fasilkom UI
    https://www.youtube.com/watch?v=k5Fafz10kPw&t=1s

  9. Representation Learning (Bagian 1) – Introduction | Kuliah PML 2020 | Fasilkom UI
    https://www.youtube.com/watch?v=FaOs_lunRC0

  10. Representation Learning (Bagian 2) – Autoencoders | Kuliah PML 2020 | Fasilkom UI
    https://www.youtube.com/watch?v=1lZSDVNi-NA&t=71s

  11. Representation Learning (Bagian 3) – Generative Adversarial Networks | Kuliah PML 2020 | Fasilkom UI
    https://www.youtube.com/watch?v=nqiOMW0zZ5g

  12. Deep Learning for Medical Imaging (#1) – Introduction and Challenges | Kuliah PML 2020 | Fasilkom UI
    https://www.youtube.com/watch?v=-3bd3npCprI

  13. Deep Learning for Medical Imaging (#2) – 3DComputation & Uncertainty | Kuliah PML 2020 | Fasilkom UI

https://www.youtube.com/watch?v=wu4en8a5YPU

  1. Deep Learning for Medical Imaging (#3) – Transfer Learning | Kuliah PML 2020 | Fasilkom UI
    https://www.youtube.com/watch?v=ZQU75Ps2VY4

Buku Rujukan :

  1. Goodfellow, Ian, et al. Deep learning. Vol. 1. Cambridge: MIT press, 2016.
  2. Géron, Aurélien. Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow:
    Concepts, tools, and techniques to build intelligent systems. O’Reilly Media, 2019.
  3. Murphy, Kevin P. Machine learning: a probabilistic perspective. MIT press, 2012.
  4. Bishop, Christopher M. Pattern recognition and machine learning. springer, 2006.