Tag: ssl

  • Barlow Twins – Ishan

    Saya lanjutkan pembahasan tentang kuliah Self-supervised Learning pada Vision dari Ishan Misra. Pada materi sebelumnya telah dibahas beberapa teknik untuk menangani solusi trivial yaitu dengan memaksimalkan similarity, diantaranya contrastive learning, clustering dan distillation. Selanjutnya akan dibahas tentang teknik lainnya yaitu redundancy reduction. Khususnya Barlow twins: ssl via barlow twins. Karena otak kita memiliki keterbatasan jumlah…

  • Distillation SSL- Ishan

    Saya lanjutkan pembahasan tentang kuliah Ishan Misra tentang Self supervised learning untuk image. Sebelumnya kita telah membahas tentang teknik contrastive learning dan clustering dan avid cma. Hari ini kita lanjutkan tentang teknik Distillation. Teknik distilasi termasuk teknik untuk memaksimalkan similarity. Ada 2 teknik distillation yang akan dibahas yaitu BYOL dan SimSiam. Jika kita memiliki fθstudent​(I)=fθteacher​(augment(I))…

  • SimCLR – contrastive learning

    Saya lagi baca tulisan di google blog tentang SimCLR (A Simple Framework for Contrastive learning of Visual Representation. Blog ini ditulis Ting Chen dan Geoffrey Hinton. Perkembangan model NLP BERT dan T5, telah menunjukan bahwa dengan label kita bisa mendapatkan performa yang bagus. Caranya dengan melakukan pretraining pada sebuah dataset besar yang tidak diberi label, kemudian melakukan fine-tuning…

  • AVID CMA-Ishan

    Saya lanjutkan pembahasan kuliah tentang self supervised Vision dari Ishan misra. Sebelumnya telah dibahas tentang clustering dan SEER, sekarang kita lanjutkan dengan AVID CMA (Audio video instance discrimination -with cross modal agreement). Metoda ini menggabungkan contrastive learning dengan clustering. Bila sebelumnya yang dipelajari adalah image, kali ini adalah video. AVID adalah metode untuk membandingkan audio…

  • Inside the lab- Bagaimana mesin mencapai Human level intelligence

    Sesi berikutnya adalah diskusi antara Lex Fridman, Yoshua Bengio dan Yann Lecunn tentang human level intelligence. Menurut yoshua, AI saat ini masih jauh dari level kecerdasan manusia. Dia cerita tentang beberapa task, yang manusia sangat mudah memahami, namun mesin sulit untuk memahami. Contohnya kemampuan untuk melakukan generalisasi sebuah task baru atau situasi baru. Otak kita…

  • Inside the lab – Self supervised vision

    Saya lanjutkan bahasan tentang webinar inside the lab dari meta AI. Selanjutnya jerome cerita tentang tim Responsible AI (RAI) dari Meta. RAI ini melakukan riset tentang gimana ngembangin sistem AI yang responsible, maksudnya yang peduli juga tentang privacy preserving AI. Selain itu tim RAI juga melakukan publikasi sistem ranking di Instagram (pre-ranking filtering system). Terus…

  • Inside the lab : Meta AI

    Saya baru dengerin webinar inside the lab yang diadain sama meta. Disini Meta (alias facebook) cerita tentang gimana mereka ngembangin berbagai teknologi baru. Sesi pertama pengantar dari Mark Zuckerberg. Om mark cerita tentang teknologi Meta, yang ngegabungin AR,VR dan AI. Terus dia share berbagai macam riset yang lagi dikembangin diantaranya adalah Cairoke. Proyek ini tentang…

  • SEER – SElf SupERvised – Ishan

    Saya lanjutkan pembahasan tentang kuliah tentang SSL dari Ishan Misra. Pada tulisan sebelumnya telah dibahas tentang SwAV dan perbedaan antara data pada dunia nyata dengan dataset ImageNet. Hari ini kita akan bahas tentang SEER. SEER: Learning from uncharted Images Dibandingkan dengan dataset Imagenet, pada dunia sebenernya gambar dapat memiliki distribusi yang berbeda, dan bisa saja…

  • Kelebihan metode SwAV – Ishan Misra

    Saya lanjutkan pembahasan kuliah SSL oleh Ishan Misra. Pada kuliah sebelumnya telah dibahas tentang performa SwAV. Hari ini kita lanjutkan dengan pembahas tentang kelebihan metoda SwAV. Keuntungan pertama Swav adalah lebih cepat konvergence dibandingkan metoda contrastive learning seperti SimCLR dan MoCov. Pada SwAV, penghitungan similarity dilakukan pada code space, tidak dilakukan perbandingan embedding secara langsung.…

  • Kumpulan project Self-supervised learning

    Buat yang lagi belajar tentang self-supervised learning, berikut ini ada beberapa project open source tentang self-supervised learning: Self-Supervised Vision Transformers with DINO https://github.com/facebookresearch/dino 2. SIMCLR: A Simple Framework for Contrastive Learning of Visual Representations https://github.com/google-research/simclr 3. SwinTransformer : Self-Supervised Learning with Vision Transformers https://github.com/SwinTransformer/Transformer-SSL 4. Lightly: computer vision framework for self-supervised learning https://github.com/lightly-ai/lightly 5. MMSelfSup:…