Saya lanjutkan pembahasan tentang paper Self-Supervised Visual Feature Learning with Deep Neural Network: A Survey dari Longlong Jing dan Yingli Tian. Pada tulisan sebelumnya telah dibahas tentang macam-macam teknik learning feature pada image, diantaranya dengan metode image generation dengan GAN. Sekarang kita lanjutkan tentang metode image generation dengan inpainting.
Image inpainting adalah sebuah task untuk memprediksi bagian dari gambar yang hilang. Contohnya pada gambar diatas, gambar (a) adalah gambar dengan bagian yang hilang. Sementara gambar c adalah hasil prediksi. Untuk melakukan prediksi, jaringan harus mempelajari tentang warna dan struktur dari obyek. Setelah itu, jaringan akan berusaha memprediksi bagian yang hilang berdasarkan bagian gambar yang tersedia.
Sebagai analogi dengan auto-encoders, Pathak dkk. Melakukan training sebuah ConvNet untuk menggenerate konten bagian yang hilang pada gambar dari gambar yang tersedia. Kontribusi mereka adalah menggunakan convnet pada masalah image inpainting dan menggunakan adversarial loss untuk membantu jaringan menghasilkan hipotesis yang realistis. Metode lainnya mengikuti model usulan mereka. Umumnya ada dua jaringan, sebuah jaringan generator untuk menghasilkan bagian yang hilanh dengan cara
pixel-wise reconstruction loss dan sebuah discriminator network untuk membedakan apakah gambar input adalah real dengan adversarial loss. Dengan adversarial loss, network dapat menghasilkan hipotesis yang tajam dan realistis. Kedua jaringan dapat mempelajari fitur semantik dari gambar yang kemudian dapat ditransfer ke task vision lainnya. Namun hanya Pathak dkk yang mempelajari perdorma dari transfer
learning dari parameter yang dipelajari dari generator pada task ini.
Generatir adalah fully convolutional
network dan memiliki dua bagian: enkoder dan dekoder. Input dari dekoder adalah gambar yang harus dilengkapi (inpainted) dan context encoder mempelajari fitur semantik dari gambar. Kontext decoder kemudian memprediksi bagian yang hilang berdasarkan fitur ini.
Generator diperlukan untuk memahami konten dari gambar untuk dapat menghasilkan hipotesis yang masuk akal. Discriminator dilatih untuk membedakan apakah gambar input adalah output dari generator.
Sampai disini dulu, besok insyaallah saya lanjutkan dengan metode image generation dengan super resolution.
Papernya bisa dilihat pada link berikut :