Tag: machine learning

  • SimCLR – Ishan Misra

    Hari ini saya lanjutkan pembahasan kuliah Ishan Misra tentang Self-supervised Learning. Pada tulisan sebelumnya kita sudah mengenal tentang teknik contrastive learning, dan metode PIRL. Disana dibahas juga tentang pentingnya mendapatkan pasangan yang negatif untuk meningkatkan performa contrastive learning. Menurut Ishan ada 3 teknik yang bisa digunakan untuk mendapatkan sampel negatif. Hari ini kita akan bahas…

  • PIRL – Pretext Invariant Representation Learning – Misra

    Hari ini saya coba lanjutkan pembahasan tentang kuliah Ishan Misra tentang SSL. Pada tulisan sebelumnya telah dibahas tentang PIRL, tentang contrastive learning yang memanfaatkan Pretext untuk membuat model yang invariant. Dari hasil percobaan dia membandingkan performa PIRL dengan model Jigsaw. Sebuah linear classifier digunakan pada setiap layer untuk menghitung akurasi. Satu model ditrain dengan PIRL…

  • Metode Self-supervised – Ishan Misra

    Saya lanjutkan pembahasan kuliah Ishan Misra tentang Self-supervised. Pada tulisan sebelumnya telah dibahas tentang trivial solutions. Yaitu dimana sistem menghasilkan fitur yang sama untuk semua input gambar. Representasi yang dipelajari menjadi tidak dapat digunakan untuk task recognition downstream. Atau bisa dikatakan nilai fungsi encodernya menjadi konstan. Untuk mengatasi permasalahan trivial solutions ini ada 2 metode…

  • Self Supervised Learning pada Komputer Vision – Ishan Misra

    Saya baru dengerin kuliah Ishan Misra tentang Self-Supervised learning pada komputer vision. Menurut dia fokus penelitian komputer vision saat ini adalah bagaimana belajar representasi visual dari supervised data dan menggunakan representasi ini (weight modelnya) sebagai inisialisasi untuk task lainnya yang memiliki data berlabel yang sedikit. Proses memberi label pada data itu mahal, contohnya dataset Imagenet…

  • Hidden Markov Model

    Hari ini saya lagi belajar tentang Hidden markov model (HMM). HMM ini adalah pemodelan sistem statistik dimana ada proses markov dan proses yang tidak dapat diamati (unobserved). Jelasin teorinya agak ribet, tapi ada video bagus berikut ini yang ngejelasin HMM dengan mudah: Contohnya di video itu ada Alice dan Bob, mereka berdua berada di kota…

  • Decision Tree – Overfitting

    Saya lanjutkan bahasan tentang Decision Tree . Salah satu kelemahan Decision Tree (DT) adalah Overfitting. Contoh overfitting misalnya pada kasus ada noise (data salah), kemudian dibentuk pohon yang mengakomodasi data ini. Pohon ini cenderung membesar. Jadi tree ini dikatakan terlalu ditune untuk mengakomodasi data training tertentu. error train (h) adalah error tree pada saat training.…

  • Wolfram – New Kind of Science

    Hari ini saya baru baca buku Stephen Wolfram – New Kind of Science. Wolfram ini ahli fisika, komputer dan matematika. Jadi dia berkesimpulan bahwa perkembangan komputer dan pemrograman ini didukung oleh perkembangan matematika. Namun pada kenyataannya di dunia banyak hal yang terlalu kompleks untuk dijelaskan dengan rumus matematika. Misalnya bentuk pohon, bagaimana kita bisa menjelaskan…

  • Decision Tree-2

    Saya lanjutkan pembahasan tentang Decision Tree (DT). Tahapan yang dilakukan adalah dari dataset yang telah memiliki label dilakukan training yang menghasilkan model classifier. Model ini kemudian digunakan untuk melakukan prediksi terhadap instance yang belum memiliki label. Beberapa pertimbangan kapan menggunakan algoritma DT: Instance dapat dideskripsikan sebagai pasangan atribut dan nilai Fungsi target memiliki nilai diskret…

  • Decision Tree

    Hari ini saya belajar tentang Decision Tree (DT). DT ini bisa dibilang salah satu algoritma klasik pada machine learning. DT ini memiliki masalah overfitting. Yaitu pada saat training performanya bagus, namun pada saat test performanya jelek. Hal ini bisa jadi karena dia kehilangan kemampuan melakukan generalisasi, karena sangat ditune pada training datanya. Secara keseluruhan Machine…

  • Bayes Net

    Bayes Net sering disebut sebagai model-model grafik. Ide utamanya adalah menggunakan asumsi conditional independence. Prinsip ini sudah digunakan juga di Naive Bayes (NB). Manfaatnya adalah membuat perhitungan probabilitas menjadi sederhana. Dengan NB kita hanya perlu 2n+1 parameter. Sementara pake Bayes rules dibutuhkan 2^n. Namun asumsi NB ini cukup ekstrem karena menyamaratakan semua conditional independensi dari…