Saya lagi nyoba platform lightly.ai tools machine learning. Lightly ini tools buat mempermudah kita untuk memproses dataset yang besar. Dia punya tools seperti Datasource, lightly worker, lightly platform dan lightly python client. Datasource ini bisa digunakan untuk ngakses dataset kita yang disimpan di cloud kayak AWS S3 bucket, Google cloud bucket dan Azure. Lightly worker…

Saya lagi baca paper Big Self-Supervised models are strong semi-supervised learners dari Ting Chen dkk. Mereka ini dari tim research Google . Salah satu teknik untuk learning dengan jumlah label sedikit adalah dengan menggunakan pretraining secara unsupervised pada jumlah data tidak berlabel yang banyak, kemudian diikuti dengan fine-tuning secara supervised. Dibandingkan dengan semi-supervised learning metode…

Saya lagi baca paper Jaiswal dkk dengan judul A survey on Contrastive self-supervised learning. SSL dapat mengurangi biaya labeling dataset besar. SSL dapat menggunakan pseudolabel yang self-defined sebagai supervision dan menggunakan representasi yang dipelajari untuk beberapa task downstream. Khususnya contrastive learning sekarang banyak digunakan untuk vision, nlp dll. Tujuannya adalah untuk mendekatkan embedding versi augmentasi…

Saya lagi dengerin video tutorial dari CVPR 2021 tentang Self-supervised learning. Tutorial ini dibagi 6 sesi. Pada tulisan ini saya bahas sesi pertama yaitu introduction oleh Andrei Bursuc dari Valeo-ai. Andrei cerita tentang perkembangan komputer vision saat ini yang mengandalkan Deep Learning dan supervised learning. Metode ini secara umum punya 3 tahapan: Mendefinisikan konsep apa…

Saya lanjutkan pembahasan riset dari meta AI tentang Self-supervised transformer. Ada 2 inovasi yang dikenalkan tim meta AI yaitu DINO dan PAWS. DINO mempelajari bagian obyek dan karakteristik yang dimiliki bersama antara beberapa gambar. Model DINO mempelajari fitur space yang memiliki struktur yang menarik. Bila kita meng-embed kelas ImageNet menggunakan fitur yang dihitung dengan DINO,…

Saya lagi baca tulisan peneliti dari Meta AI tentang self-supervised Transformer. Menurut Piotr Bojanowski dkk, inovasi terbaru di bidang AI saat ini ada 2 yaitu Self-supervised learning (SSL) dan transformer. SSL membantu mesin untuk belajar dari data tidak berlabel dan acak. Sementara itu transformer membantu model AI untuk memilih fokus pada bagian tertentu dari input,…

Mari kita lanjutkan bahasan tentang paper Big Self-Supervised Models Advance Medical Image Classification, karya Azizi dkk. Pada tulisan sebelumnya telah dibahas tentang proses fine-tuning. Kali ini saya lanjutkan bahasan tentang hasil eksperimen. Eksperimen yang dilakukan azizi, dilakukan untuk menguji apakah metode self-supervised yang diusulkan menghasilkan performa lebih baik dibandingkan metode supervised. Satu aspek penting pada transfer learning…

Saya lagi belajar ngoprek tentang metode self-supervised SimCLR (A simple Framework for contrastive learning of Visual Representation). Berikut ini ada kumpulan link SimCLR yang sudah saya kumpulkan: https://github.com/google-research/simclr : Ini Github dari yang bikin SimCLR (Mr. Chen dari Google) https://github.com/sayakpaul/SimCLR-in-TensorFlow-2 : Yang ini implementasi SimCLR di TensorFlow2 https://medium.com/analytics-vidhya/understanding-simclr-a-simple-framework-for-contrastive-learning-of-visual-representations-d544a9003f3c : ini blog yang ngejelasin teori dan…

Mari kita lanjutkan bahasan tentang paper Big Self-Supervised Models Advance Medical Image Classification, karya Azizi dkk. Pada tulisan sebelumnya telah dibahas tentang proses pre-training metode MICLe. Kali ini saya lanjutkan bahasan tentang fine-tuning yang dilakukan. Pada saat finetuning, model ditraining menggunakan weight yang didapat pada saat pretraining. Model ditraining untuk downstream task menggunakna SimCLR. Training dilakukan…

Saya coba lanjutkan pembahasan paper Big Self-Supervised Models Advance Medical Image Classification, karya Azizi dkk. Pada tulisan sebelumnya telah dibahas tentang metode pengujian. Kali ini saya lanjutkan bahasan tentang pre-training yang dilakukan. Untuk menguji keefektifan proses pre-training self-supervised, Azizi mencoba arsitektur ResNet-50 (1×), ResNet-50 (4×), and ResNet-152 (2×) sebagai basis jaringan enkoder. Setelah SimCLR, dua layer…