-
Self Supervised dengan Fast.ai
Buat yang lagi belajar tentang self-supervised learning (SSL), saya baru nemu tutorial menarik tentang SSL. Tutorial ini isinya beberapa kode algoritma SSL dari Kerem Turgutlu. Ada beberapa algoritma SSL yang dibahas, diantaranya: SimCLR v1 & SimCLR v2 MoCo v1 & MoCo v2 BYOL SwAV Barlow Twins DINO Paper tentang algoritma diatas bisa dilihat, tinggal klik nama algoritmanya aja. Ada…
-
Kumpulan Tutorial Pytorch
Hari ini nemu web yang ngumpulin berbagai tutorial pytorch. Ada tutorial, paper, project maupun communities tentang pytorch. Ada tentang vision, speech maupun NLP disana. Ada task tentnag object detection, classification, face recognition dll. Linknya bisa dilihat disini: https://www.ritchieng.com/the-incredible-pytorch/ Atau bisa juga dilihat di github nya ritchi eng berikut ini: https://github.com/ritchieng/the-incredible-pytorch Buat yang lagi belajar machine…
-
Equipartion Constraint – Ishan Misra
Saya akan lanjutkan pembahasan tentang kuliah Self-Supervised Learning dari Ishan Misra. Pada tulisan sebelumnya telah dibahas tentang teknik clustering, contohnya dengan SwAV. Namun ternyata teknik clustering ini masih rentan terhadap solusi trivial. Untuk menangani solusi trivial pada clustering ada 2 solusi yang bisa dilakukan yaitu Equipartition constraint dan Soft Assignment. Equipartition constraint Dari N sampel…
-
Koleksi catatan Machine learning
Di grup ada yang baru share 15 best machine learning cheat sheets. Cheat sheet ini klo diterjemahin contekan kali ya :) Karena link2nya keren2 saya simpan disini deh. 1- Supervised Learning https://github.com/afshinea/stanford-cs-229-machine-learning/blob/master/en/cheatsheet-supervised-learning.pdf 2- Unsupervised Learning https://github.com/afshinea/stanford-cs-229-machine-learning/blob/master/en/cheatsheet-unsupervised-learning.pdf 3- Deep Learning https://github.com/afshinea/stanford-cs-229-machine-learning/blob/master/en/cheatsheet-deep-learning.pdf 4- Machine Learning Tips and Tricks https://github.com/afshinea/stanford-cs-229-machine-learning/blob/master/en/cheatsheet-machine-learning-tips-and-tricks.pdf 5- Probabilities and Statistics https://github.com/afshinea/stanford-cs-229-machine-learning/blob/master/en/refresher-probabilities-statistics.pdf 6- Comprehensive Stanford…
-
Metode Clustering pada SSL – Ishan Misra
Saya lanjutkan bahasan tentang kuliah Ishan Misra tentang berbagai metode Self-Supervised Learning (SSL). Pada tulisan sebelumnya kita telah mengenal tentang permasalahan solusi trivial pada pretext task, serta 2 metode SSL yang digunakan untuk mengatasinya yaitu maximize similarity dan redundance reduction. Kemudian telah dibahas juga tentang metode contrastive learning (CL), seperti PIRL, SimCLR, memory bank dan…
-
MoCo – Momentum Contrast – Ishan Misra
Saya lanjutkan pembahasan materi kuliah SSL dari Ishan Misra. Pada tulisan sebelumnya telah dibahas tentang SimCLR dan Memory Bank. Sekarang kita akan bahas teknik berikutnya dari contrastive learning yaitu MoCo atau Momentum Contrast. MoCo, atau, Momentum Contrast, adalah sebuah metode contrastive method yang menggunakan sebuah memory bank untuk menjaga sebuah momentum aktivass. Metode ini menggunakan…
-
SimCLR – Ishan Misra
Hari ini saya lanjutkan pembahasan kuliah Ishan Misra tentang Self-supervised Learning. Pada tulisan sebelumnya kita sudah mengenal tentang teknik contrastive learning, dan metode PIRL. Disana dibahas juga tentang pentingnya mendapatkan pasangan yang negatif untuk meningkatkan performa contrastive learning. Menurut Ishan ada 3 teknik yang bisa digunakan untuk mendapatkan sampel negatif. Hari ini kita akan bahas…
-
PIRL – Pretext Invariant Representation Learning – Misra
Hari ini saya coba lanjutkan pembahasan tentang kuliah Ishan Misra tentang SSL. Pada tulisan sebelumnya telah dibahas tentang PIRL, tentang contrastive learning yang memanfaatkan Pretext untuk membuat model yang invariant. Dari hasil percobaan dia membandingkan performa PIRL dengan model Jigsaw. Sebuah linear classifier digunakan pada setiap layer untuk menghitung akurasi. Satu model ditrain dengan PIRL…
-
Metode Self-supervised – Ishan Misra
Saya lanjutkan pembahasan kuliah Ishan Misra tentang Self-supervised. Pada tulisan sebelumnya telah dibahas tentang trivial solutions. Yaitu dimana sistem menghasilkan fitur yang sama untuk semua input gambar. Representasi yang dipelajari menjadi tidak dapat digunakan untuk task recognition downstream. Atau bisa dikatakan nilai fungsi encodernya menjadi konstan. Untuk mengatasi permasalahan trivial solutions ini ada 2 metode…
-
Self Supervised Learning pada Komputer Vision – Ishan Misra
Saya baru dengerin kuliah Ishan Misra tentang Self-Supervised learning pada komputer vision. Menurut dia fokus penelitian komputer vision saat ini adalah bagaimana belajar representasi visual dari supervised data dan menggunakan representasi ini (weight modelnya) sebagai inisialisasi untuk task lainnya yang memiliki data berlabel yang sedikit. Proses memberi label pada data itu mahal, contohnya dataset Imagenet…