Saya lanjutkan pembahasan tentang paper Self-Supervised Visual Feature Learning with Deep Neural Network: A Survey dari Longlong Jing dan Yingli Tian. Pada tulisan sebelumnya telah dibahas tentang macam-macam teknik learning feature pada image, diantaranya dengan Perbandingan metode Self-supervised. Sekarang kita lanjutkan tentang future direction alias masa depan self-supervised pada vision.
Learning feature dari Data Sintetik
Ada train untuk melakukan training dengan data sintetik. Data ini dapat dengan mudah dirender dengan game engine. Dengan game engine, jutaan gambar dapat digenerate. Dari gambar-gambar sintetik ini dapat dihasilkan anotasi yang akurat dan detail.
Berbagai pretext task dapat dirancang dari data sintetik ini. Hanya saja tantangannya adalah untuk menyelesaikan gap antara data sintetik dan data sebenarnya. Beberapa pendekatan yang ada menggunakan GAN.
Learning dari data web
Tren lainnya adalah melakukan training network dengan data yang dikumpulkan dari web. Data ini umumnya sudah memiliki tags. Data ini tersedia banyak pada website seperti Flickr. Selain gambar, judul, keyword dan review dapat diperoleh dari web sebagai informasi tambahan.
Dengan melakukan query secara baik, data dari web ini bisa didapat dengan mudah. Semakin banyaknya gambar dan meta data di web, dapat meningkatkan performa metode self-supervised. Namun ada satu masalah yang harus diatasi, yaitu menangani noise pada data web dan metadatanya.
Learning dari sensor
Metode self-supervised saat ini fokus hanya pada gambar atau video. Sebenarnya ada data dari sensor lain yang bisa digunakan. Contohnya misalnya pada mobil yang memiliki sensor kamera RGB, kamera grayscale, scanner laser, GPS dan IMU accelerations. Data dari sensor-sensor ini bisa digunakan untuk feature learning metode self-supervised.
Learning with Multiple Pretext Tasks
Metode self-supervised yang ada saat ini memggunakan sebuah pretext tasks pada saat training. Metode pretext tasks berbeda akan memberikan informasi berbeda terhadap jaringan. Kedepannya perlu dipelajari penggunaan lebih dari satu pretext task dalam training.
Alhamdulillah sudah selesai pembahasan paper ini. Papernya bisa dilihat pada link berikut:
https://arxiv.org/abs/1902.06162
Semoga Bermanfaat