Minggu lalu saya ikut kuliah Prof Yann LeCun tentang Self Supervised Learning. Kuliah ini bagian webinar di acara AIS2020. Beliau ini profesor computer science di New York University dan Chief AI di Facebook, penerima A.M Turing Award tahun 2018. Berikut ini beberapa catatan saya:

1. Di awal kuliah dia cerita tentang supervied learning (SL). Dengan SL ini kita gak perlu memprogram mesin, tapi melatih mesin dengan memberi berbagai contoh. SL sudah banyak dipake misalnya: speech recognition, mengelompokan gambar, image recognition, memberi caption foto, melakukan kategori text ke topik yang sama dll. Hanya saja SL ini perlu dataset yang banyak (ribuan) dan sudah diberi label. Supervised Deep
2. Learning akan sangat berguna kalau kita punya banyak data. Facebook, Instagram, Google dan Youtube menggunakan teknik ini, untuk mempelajari konten, melakukan filtering, memberi ranking, membuat terjemahan, aksesabilitas, dll.
3. Deep Learning (DL) juga digunakan dalam di mobil untuk sistem rem darurat mobil otomatis, bisa mengurangi resiko tabrakan sampai 40% menggunakan convolutional network. Selain itu digunakan juga dalam mendeteksi tumor dari mammograms pada kanker payudara (Wu et al. ArXiv:1903.08297] https://github.com/nyukat/breast_cance_classifier Juga digunakan untuk melakukan filter konten, misalnya ujaran kebencian, ajakan rusuh, penjualan senjata, propaganda teroris dll.
4. Contoh penggunaan lainnya FastMRI; mempercepat proses MRI 4-8x. [Zbontar et al. ArXiv:1811.08839] dengan arsitektur U-net  reconstruction. Kemudian ada teknik ConvNets di neuroscience untuk membuat model prediksi linear.
5. Convnet digunakan juga di astofisika, untuk prediksi struktur formasi kosmologi (He et.al PNAS 07/2019).
6. Contoh lainnya DL di bidang science: desain protein (struktur/prediksi fungsi); Desain material (prediksi properti material), Fisika Energi tinggi (filtering jet dan analisis, Komiske arXIV:1612.01551), Cosmologi dan astrofisika (menyimpulkan konstanta dari observasi, studi statistika dari galaxi, dark matter mellaui gravitational lensing) dll
7. Tren baru DL akan dilakukan tidak hanya di data center tapi juga di perangkat (edge) seperti smartphones, kacamata AR, VR googles, mobil, sistem imaging medis, vakum cleaner, kemera, mainan dan perangkat elektronik lainnya.
8. Dia bercerita tentang sejarah hardware yang menggunakan teknik neural network tahun 1986-1996 di Bell Labs. Tahun 86 menggunakan resistor array 12×12
9. Kemudian ada FPGA Convnet Accelerator; NewFlow (Farabet 2011); 
10. Teknik Real-Time semantic segmentation dengan convnet untuk memberi label pada setiap pixel dengan kategori pada objek, menggunakan neuflow tadi 50ms/frame
11. Pada waktu itu keterbatasan hardware menghambat perkembangan convnet
12. Sejak adanya GPU, penggunaan Convnet menjadi sangat pesat.
13. Deep Learning adalah sistem yang dibangun dengan menyusun modul yang memiliki parameter menjadi graph, dan melakukan traning untuk optimasi parameter menggunakan metode gradient based.
14. Graph dapat didefinisikan secara dinamik dengan program yang input-dependent: differentiable programming. Output dapat dikomputasi dengan proses yang kompleks (non feed-forward), contohnya dengan minimisasi fungsi energi, relaxation, constraint satisfaction, prediksi terstruktur 
15. Paradigma learning dan fungsinya: supervised, reinforced, self-supervised/unsupervised, classification, prediction, reconstruction
16. Orang sering kali mengenggap keterbatasan dari supervised learning sering disalah artikan sebagai keterbatasan dari DL
17. Teknik Reinforcement Learning (RL) telah berhasil diterapkan pada game dan simulasi. Namun RL membutuhkan waktu trial and error cukup lama. Contohnya 57 game atari membutuhkan 83 jam learning untuk mencapai performansi yang dicapai manusia dalam 15 menit. (Hessel ArXiv:1710.02298); Elf OpenGo v2:20 juta self-play games (2000 GPU untuk 14 hari (Tian ArXIV:1902.04522) Starcraft: AlphaStar setara 200 tahun  waktu main (Vinyals blog 2019), OpenAI Rubik’s cibe 10000 tahun simulasi
18. RL membutuhkan terlalu banyak percobaan pd proses learning. RL cocok untuk game, tapi tidak cocok untuk dunia nyata. 
19. Permasalahan DL; Deep Supervised Learning (DSL) membutuhkan data yang sudah dilabeli dalam jumlah sangat banyak; Deep Reinforcement Learning (DRL) cocok untuk menggenerate aksi pada simulasi. 
20. 3 masalah pada DL: 1. Learning to reason.(melampau komputasi feed-forward ‘sistem 1’, membuat reasoning compatible dengan gradient-based learning) 2. Learning dengan sampel yang telah dilabeli dalam jumlah sedikit atau dengan percobaan yang lebih sedikit 3. Learning untuk merencanakan serangkaian aksi yang kompleks (learning hierarchical representation)

Arsitektur baru DL: (attention, memori dinamic arcitecture, hyper network)

1. softram (Differentiable Associative Memory; memory network, transformer network; contohnya ELMO, GPT, BERT, GPT2, RoBERTa, XLM-R; telah banyak digunakan di NKP
2. Didasri oleh sebuah soft RAM atau tabel hash; memory networks (Weston et 2014 FAIR; Stacked-augmented RNN (Joulin & Mikolov 2014 FAIR) Neural Turing machine (Graves 2014), Differentiable Neural Network (Graves 2016)
3. Arsitektur Transformer; Multi-Head Attention (Waswani Arxov; 1706.03762; 10-60 tingkat); Model BERT (Devlin Arxiv:1810.04805) Digunakan untuk melengkapi kata
4. Multilingual Transformer Architecture XLM-R (Lample & Conneau Arxiv:1901.07291); MLM (Masked Language Model) dan TLM (Translation Language Model)
5. Supervised Symbol Manipulation; berhasil digunakan untuk menyelesaikan persamaan integral dan differensial (Lample &Charton Arxiv:1912.01412)
6. Contoh lannya digunakan dalam NLM utk chat (MMBlenderbot)
7. DETR:Convnet –> transformer untuk deteksi object; (Carion et.al arxiv:2005.12872); github/facebookresearch/detr; Convnet –> transformer; object-based visual reasoning; transformer:dynamic networks melalui attention
8. Contoh lainnya DETR dengan segmentasi panoptik
9. Network yang dihasilkan dar network lainnya; konversi 2dimensi ke model 3D (Ltitwin & Wolf Arxiv:1908.06277; 
10. Convnets on graphs (fixed and data-dependant) Graph dapat digunakan untuk merepresentasikan: natural language, social networks, kimia, fisika, komunikasi jaringan. Review Paper: Geometric deep learning; going beyond euclidian data, Bronstein, 2017[arxov:1611.08097)
11. Spectral Convnets / Graph Convnets ada tiga: regular grid graph; fixed irregular graph; dynamic irregular graph;
12. Dynamik network semakin populer (contohnya di NLP); 

 

mulai 1:14:00

https://drive.google.com/file/d/1pSyQ84AtZb5v_GazgMxijtHXz753ADIX/view?usp=sharing

https://nyudatascience.medium.com/yann-lecuns-deep-learning-course-at-cds-is-now-fully-online-accessible-to-all-787ddc8bf0af