Saya lanjutkan pembahasan tentang paper Self-Supervised Visual Feature Learning with Deep Neural Network: A Survey dari Longlong Jing dan Yingli Tian. Pada tulisan sebelumnya telah dibahas tentang macam-macam teknik learning feature pada image, diantaranya dengan metode Image Generation dengan Super Resolution. Sekarang kita lanjutkan tentang metode image generation dengan Colorization.

Image colorization adalah task untuk prediksi warna dari input sebuah gambar gray-scale. Contohnya bisa dilihat pada gambar berikut:

Untuk mewarnai setiap pixel, network perlu mengenali obyek dan mengelompokan pixel-pixel dari bagian yang sama. Untuk menyelesaikan task ini, network akan mempelajari fitur visual. Metode pewarnaan dengan deep learning yang telah diajukan diantaranya dengan menggunakan jaringan neural network fully convolution yang terdiri dari sebuah encoder untuk ekstraksi fitur dan sebuah dekoder untuk color hallucination dan colorization.

Network ini dapat dioptimasi dengan menghitung L2 loss antara warna yang diprediksi dan warna aslinya. Zhang dkk mengajukan untuk menangani ketidakpastian dengan menjadikan task ini sebagai klasifikasi. Kemudian menggunakan proses class-rebalancing untuk meningkatkan keragaman (diversity) dari warna yang diprediksi.

Dengan melakukan training pada koleksi gambar yang besar, metode ini menghasilkan performa yang baik. Pada 32% hasil pengujian, manusia tidak bisa membedakan hasil pewarnaan ini dengan gambar asli.

Pendekatan lainnya dengan menggunakan metoda image colorization task ini sebagao proses pretext pada self-supervised image representation learning. Setelah training pewarnaan selesai, kemudian fitur yang dipelajari digunakan pada downstream task dengan transfer learning.

Sampai disini dulu, besok insyaAllah saya lanjutkan dengan metode context based image feature learning.

Papernya bisa dilihat pada link berikut :

https://arxiv.org/abs/1902.06162

Semoga bermanfaat!