Saya lagi baca paper menarik, judulnya Self-supervised visual feature learning with deep neural network: A survey, karya longlong jing dan yingli tian. Deep Neural network banyak dipake untuk aplikasi vision seperti deteksi obyek, segmentasi semantik, image captioning dll, karena kemampuannya untuk mengenali berbagai level berbeda fitur visual. Model ditraining menggunakan dataset besar seperi ImageNet banyak…

Saya lanjutkan pembahasan kuliah Ishan Misra tentang Self Supervised Learning pada komputer vision. Sebelumnya telah dibahas tentang teknik Barlow Twin. Sekarang saya bahas tentang sesi diskusi dari kuliah Ishan Misra. Question(Q): Ada banyak metode dalam SSL. Apa Blueprint yang harus diikuti bila kita ingin membangun model SSL? Model apa yang cocok untuk task apa? Answer…

Saya lanjutkan pembahasan tentang metoda Barlow Twins dari kuliah Ishan Misra. Barlow Twins dapat mencegah solusi trivial tanpa melihat sampel negatif. Pada setiap titik proses embedding hanya memperhatikan sampel positif. Sekarang kita mencoba mencegah solusi trivial tanpa melakukan Asymmetric learning. Ishan menampulkan perbandingan Barlow twins dengan metoda lain seperti swav, byol, dan simsian. Pada Swav…

Pada tulisan sebelumnya telah dibahas tentang teknik Barlow Twins. Berikut ini adalah penjelasan lanjutan tentang Barlow Twins dari Ishan Misra. Hipotesis tentang efficient coding diajukan olah Horace Barlow pada tahun 1961 sebagai model teoritis dari pengkodean sensor pada otak. neuron pada otak kita saling berkomunikasi dengan mengirimkan impuls elektrik yang disebut spike. Menurut Barlow, spikes…

Saya lanjutkan pembahasan tentang kuliah Self-supervised Learning pada Vision dari Ishan Misra. Pada materi sebelumnya telah dibahas beberapa teknik untuk menangani solusi trivial yaitu dengan memaksimalkan similarity, diantaranya contrastive learning, clustering dan distillation. Selanjutnya akan dibahas tentang teknik lainnya yaitu redundancy reduction. Khususnya Barlow twins: ssl via barlow twins. Karena otak kita memiliki keterbatasan jumlah…

Saya lanjutkan pembahasan tentang kuliah Ishan Misra tentang Self supervised learning untuk image. Sebelumnya kita telah membahas tentang teknik contrastive learning dan clustering dan avid cma. Hari ini kita lanjutkan tentang teknik Distillation. Teknik distilasi termasuk teknik untuk memaksimalkan similarity. Ada 2 teknik distillation yang akan dibahas yaitu BYOL dan SimSiam. Jika kita memiliki fθstudent​(I)=fθteacher​(augment(I))…

Saya lagi baca tulisan di google blog tentang SimCLR (A Simple Framework for Contrastive learning of Visual Representation. Blog ini ditulis Ting Chen dan Geoffrey Hinton. Perkembangan model NLP BERT dan T5, telah menunjukan bahwa dengan label kita bisa mendapatkan performa yang bagus. Caranya dengan melakukan pretraining pada sebuah dataset besar yang tidak diberi label, kemudian melakukan fine-tuning…

Saya lanjutkan pembahasan kuliah tentang self supervised Vision dari Ishan misra. Sebelumnya telah dibahas tentang clustering dan SEER, sekarang kita lanjutkan dengan AVID CMA (Audio video instance discrimination -with cross modal agreement). Metoda ini menggabungkan contrastive learning dengan clustering. Bila sebelumnya yang dipelajari adalah image, kali ini adalah video. AVID adalah metode untuk membandingkan audio…

Sesi berikutnya adalah diskusi antara Lex Fridman, Yoshua Bengio dan Yann Lecunn tentang human level intelligence. Menurut yoshua, AI saat ini masih jauh dari level kecerdasan manusia. Dia cerita tentang beberapa task, yang manusia sangat mudah memahami, namun mesin sulit untuk memahami. Contohnya kemampuan untuk melakukan generalisasi sebuah task baru atau situasi baru. Otak kita…