Saya lanjutkan pembahasan paper Big Self-Supervised Models Advance Medical Image Classification, karya Azizi dkk. Pada tulisan sebelumnya telah dibahas tentang metode yang digunakan serta tentang transfer learning. Kali ini saya lanjutkan bahasan tentang teknik self-supervised di medis.
Penelitian awal di bidang self-supervised fokus pada masalah mempelajari embedding tanpa label namun biasa mencapai akurasi tinggi. Berbagai pendekatan dengan contrastive dikembangkan seperti instance discrimination, CPC, Deep InfoMax, AMDIM, CMC, MoCo, PIRL, dan SimCLR. Metode-metode ini digunakan dengan pendekatan pretraining dengan self-supervised kemudian di fine-tuning dengan metode supervised berlabel.
Chen dkk menunjukan bahwa pretraining dan fine-tuning dengan sampel besar, kemudian modelnya diimplementasikan pada model yang lebih kecil memiliki performa baik, dengan loss yang relatif kecil.
Pendekatan Multi-Instance Contrastive Learning berhubungan dengan penelitian pada video processing dengan multiple views yang menghasilkan temporal variation. Metode ini menggunakan pendekatan maximizing agreement antara frame berdekatan. Penelitian lainnya dilakukan oleh Sowrirajan dkk menggunakan MoCo untuk pretraining pada klasifikasi dataset CheXpert melalui linear evaluation.
Self-Supervised Pretraining
Pertama pretraining dilakukan pada gambar tidak berlabel menggunakan contrastive learning. Contrastive learning menggunakan kombinasi gambar dari ImageNet tidak berlabel dan gambar medis.
Kemudian bila gambar pada setiap kondisi penyakit tersedia, digunakan pretraining tambahan dengan Multi-Instance Contrastive Learning (MICLe)
Langkah berikutnya adalah fine-tuning secara supervised pada gambar medis berlabel.
Framework untuk Contrastive Learning
Untuk mempelajari representasi dari gambar tidak berlabel, mengikuti metode SimCLR. SimCLR mempelajari representasi dengan maximizing agreement antara augmented views yang berbeda dari data yang sama dengan menghitung contrastive loss.
Setiap gambar diaugmentasi dua kali dengan metode random crop, color dis- tortion dan Gaussian blur yang menghasilkan dua gambar variasi gambar. Kedua gambar diencode dengan jaringan ResNet. Hasil representasinya kemudian ditransformasi lagi dengan non-linear transformation network.
Pada analisa image medis, umum digunakan beberapa gambar untuk pasien untuk meningkatkan akurasi dan robustnes. Gambar-gambar ini diambil dari sudut berbeda atau kondisi pencahayaan berbeda. Metode MICLe dilakukan juga pada pasangan positif yang dilakukan dengan mengampil dua potongan gambar dari pasien yang sama.
Perbedaan MICLe dengan SimCLR, adalah membangun sebuah mini-batch representasi 2N. Mini batch ini secara acak diambil. Kemudian dilakukan prediksi contrastive pada pasangan positif dari gambar (bag), bukan dari augmented views dari sebuah gambar yang sama.
Setiap bag gambar, X = {x1 , x2 , …, xM } terdiri dari gambar-gambar dari pasien yang sama (penyakit sama) yang diambil dari sudut berbeda. Nilai M bisa berbeda-beda dari bag berbeda. Ketika ada dua atau lebih instance pada sebuah bag M = |X| ≥ 2, dibangun pasangan positif dengan menggambar dua potongan dari dua gambar yang dipilih secara acak.
Sampai disini dulu, besok insyaAllah akan saya lanjutkan bahasan selanjutnya dari paper ini. Papernya bisa dilihat disini:
https://ieeexplore.ieee.org/document/9710396
Semoga Bermanfaat!