Multi Instance Contrastive Learning


Mari kita lanjutkan pembahasan paper Big Self-Supervised Models Advance Medical Image Classification, karya Azizi dkk. Pada tulisan sebelumnya telah dibahas tentang metode Multi Instance Contrastive Learning (MICLe). Kali ini saya lanjutkan bahasan tentang pengujian yang dilakukan.

Pengujian MICLe dilakukan pada 2 task image medis populer. Yang pertama adalah identifikasi penyakit kulit dari gambar yang diambil dengan kamera digital. Task kedua adalah klasifikasi multi label pada gambar X-Ray untuk 5 penyakit. Kedua task ini dipilih untuk mewakili karakteristik dari image medis, seperti imbalanced data dan penyakit yang terbatas pada tempat yang kecil.

Selain itu tipe keduanya juga berbeda, dari tipe gambar, label space dan setting task. Contohnya gambar kulit mirip dengan gambar natural, sementara gambar X-ray adalah drayscale dan memiliki tampilan standar. Kedua tipe berbeda ini untuk menguji kemampuan generalisasi metode MICLe.

Dataset kulit

Untuk dataset kulit, dikumpulkan dan diidentifikasi dengan layanan tele-deramtology di Amerika menggunakan kamera digital. Gambar-gambarnya heterogen dan memiliki variasi pada pose, pencahayaan, blur dan bagian tubuh. Latar belakangnya juga memiliki noise yang berbeda seperti baju dan dinding. Label ground-truth dibuat oleh dokter kulit.

Pada dataset terdapat gambar dari 12.306 pasien. Setiap pasien memiliki 1-6 gambar. Dataset dibagi dalam training set. tes set dan validasi. Foto dengan beberapa kondisi kulit berbeda pada satu kasus, atau gambar dengan kualitas jelek difilter.

Pembagian data training, validasi dan tes adalah 15.340, 1190 dan 4146. Ada 419 penyakit dengan label berbeda pada dataset. Pada pengujian hanya 26 kelas yang digunakan dan penyakit lainnya dimasukan pada kelas ke 27 (DDermin) . Digunakan juga dataset tambahan DExternalset untuk menguji generalisasi. Dataset ini lebih gakus pada kanker kulit. Labelnya didapatkan dari hasil biopsy. Kondisi ini menimbulkan tantangan untuk pengujian model zero-shot tanpa fine-tuning.

Untuk training SimCLR, digunakan campuran gambar dari DTrain dan ditambah gambar tidak berlabel dari dataset Derm. Jumlah gambar pada pretraining self-supervised yang digunakan adalah 454.295 gambar

Untuk pretraining MICLe, hanya digunakan gambar dari 15,340 kasus dari DTrain.

Dataset X-Ray

Dataset X-Ray menggunakan CheXpert, dataset open source X-Ray. Dataset ini terdiri dari 224.316 gambar dari 65.240 pasien. Label dilakukan oleh radiolog, dengan 14 jenis label berbeda. Set validasi terdiri dari 234 gambar dengan anotasi manual.

Karena ukuran dataset validasi kecil, untuk downstream task digunakan 67.429 gambar untuk training, 22.240 gambar untuk validasi dan 33.745 untuk tes. Model ditraining untuk prediksi 5 penyakit mengikuti penelitian Irvin dan Rajpurkar dkk.

Untuk pretraining menggunakan SimCLR untuk X-Ray, dengan gambar dari set training pada dataset CheXpert tampa label (DUnlabeled). Kemudian digunakan juga dataset CheXpert NIH (DNIH) untuk menguji performa zero-shot transfer. Dataset ini terdiri dari 112.120 gambar dari 30.805 pasien.

Sampai disini dulu, Insyaallah besok akan saya lanjutkan pembahasan tentang pre-training.

Papernya bisa dilihat disini:

https://ieeexplore.ieee.org/document/9710396

Semoga Bermanfaat!


Silahkan tuliskan tanggapan, kritik maupun saran