Saya coba lanjutkan pembahasan paper Big Self-Supervised Models Advance Medical Image Classification, karya Azizi dkk. Pada tulisan sebelumnya telah dibahas tentang metode pengujian. Kali ini saya lanjutkan bahasan tentang pre-training yang dilakukan.
Untuk menguji keefektifan proses pre-training self-supervised, Azizi mencoba arsitektur ResNet-50 (1×), ResNet-50 (4×), and ResNet-152 (2×) sebagai basis jaringan enkoder. Setelah SimCLR, dua layer full connected digunakan untuk memetakan keluaran dari jaringan-jaringan Resnet ke embedding dengan dimensi 128 untuk contrastive learning.
Kemudian digunakan juga LARS optimizer untuk men-stabilkan training selama pre-training. Pretraining SimCLR pada DUnlabeled-derm dan DUnlabeled-Chexpert, dengan inisialisasi dan tanpa insialisasi dari weight pretraining dari ImageNet self-supervised.
Pretraining dengan weight self-supervised Imagenet sebagai ImageNet→Derm dan ImageNet→CheXpert dijelaskan sebagai berikut:
Pretraining untuk dermatology task menggunakan augmentasi yang digunakan untuk pasangan positif pada SimCLR. Hal ini karena kerimipan gambar dermatology dengan gambar natural. Teknik augmentasi yang digunakan adalah augmentasi warna acak (strength=1.0), crops dengan resize, Gaussian blur, dan random flips.
Azizi menemukan bahwa ukuran batch size 512 dan learning rate 0,3 menghasilkan performa terbaik. Kemudian semua model di pretraining sebanyak 150 steps dengan DUnlabeled-Derm.
Untuk dataset CheXpert dataset, pretraining dilakukan dengan learning rate {0.5, 1.0, 1.5}, temperatur {0.1, 0.5, 1.0}, dan batch size {512, 1024}. Kemudian dipilih model dengan performa terbaik pada down-stream validation set.
Dilakukan pengujian juga dengan berbagai tipe augmantasi dan diamati mana yang menghasilkan performa terbaik pada set validasi. Augmentasi yang digunakan adalah random cropping, random color jittering (strength = 0.5), rotation (sampai 45 degrees) dan horizontal flipping. Gaussian blur tidak digunakan, karena sulit untuk membedakan variasi tekstur lokal dengan merubah interpretasi penyakit pada gambar X-ray.
Model CheXpert terbaik di pretraining dengan batch size 1024, dan learning 0,5. Pretraining dilakukan pada model dengan 100.000 steps. Pretraining MICLe hanya dilakukan pada dataset dermatology, karena pada dataset CheXpert tidak ada multiple view.
Pretraining MICLe dilakukan dengan inisialisasi model dengan weight SimCLR, kemudian digabungkan dengan prosedur multiinstance. Karena ketermatasn memori, training menggunakan batch size lebih kecil (128) dan learning rate 0,1 dengan 100.000 steps.
Setting lainnya seperti optimizer, weight decay, dan warmup step sama seperti pretraining sebelumnya. Pada semua eksperimen pretraining ukuran gambar diubah menjadi 224 × 224. Digunakan TPU dengan 16 – 64 core terhantung batch size.
Dengan 64 TPU cores, dihabiskan kurang lebih 12 jam untuk pretraining sebuah ResNet-50 (1×) dengan batch size 512 dan 100 epochs. Sampai disini dulu, besok insyaallah akan saya lanjutkan bahasan tentang proses fine-tuning.
Papernya bisa dilihat disini:
https://ieeexplore.ieee.org/document/9710396
Semoga Bermanfaat!
Tulisan sebelumnya tentang prosedur pengujian: