Tag: machine learning

Saya lagi ikut summer course MDOML (Multi Disciplinary Optimization Optimization and Machine Learning) yang diadakan FTMD ITB. Materinya seru2. Walaupun rada roaming tapi banyak dapet ilmu tentang machine learning.

Hari ini materinya tentang topology optimization. Maksudnya gimana bikin struktur yang optimal. Misalnya jembatan, gimana caranya bikin struktur jembatan yang kuat nahan beban, tapi gak boros material. Atau gimana ngedesain sayap pesawat yang optimal. Contoh lainnya ngedesain rangka sepeda. Nah untuk bikin desainnya perlu perhitungan matematis yang cukup rumit. Atau bisa juga pake python. Di kelas diajarin pake colab. Ada 5 parameter nelx, nely, volfrac, penal, sama rmin yang bisa diubah-ubah. Terus harus ngerubah load sama boundary condition. Code pythonnya bisa dilihat disini: https://www.topopt.mek.dtu.dk/Apps-and-software/Topology-optimization-codes-written-in-Python

Cuman yang lebih simpel pake aplikasi 2DTopOpt. Pake aplikasi ini lebih simpel, tinggal ngerubah scalenya atau area desainnya, terus pasang pinnya dimana, apakah distributed atau gak? Pasang load juga,atur vlofrac, penal, tar langsung muncul hasilnya. Contohnya kayak gambar diatas, yaitu optimasi struktur topology jembatan. Aplikasinya bisa diunduh disini:

https://www.topopt.mek.dtu.dk/Apps-and-software/Interactive-2D-TopOpt-App

Masih banyak materi seru lainnya pada summer course ini, insyaallah nanti saya share pada tulisan berikutnya. Semoga Bermanfaat!

Saya lagi baca tulisan Lilian Weng tentang Self-Supervised Learning. Berikut beberapa rangkuman dari tulisan tersebut.

Bila kita memliki data yang banyak dan berlabel, supervised learning dapat menyelesaikan berbagai task dengan baik. Namun melakukan labeling data secara manual sangat mahal, contohnya Imagenet. Padahal ada banyak sekali data yang tersedia dan belum memiliki label, contohnya teks, dan jutaan gambar di itnernet. Sementara itu teknik unsupervised learning tidak mudah dan tidak efisien. Proses labeling seringkali dilakukan oleh manusia secara manual.

Bagaimana bila kita bisa mendapatkan label otomatis dari data? Dan melakukan training dari dataset yang tidak memiliki label dengan cara supervised? Kita dapat melakukan ini dengan mengubah bentuk task supervised learning hanya untuk memprediksi sebagian informasi menggunakan info yang ada. Dengan cara ini, semua informasi yang dibutuhkan baik input maupun label telah tersedia. Teknik ini dinamakan Self-supervised learning.

Ide ini telah banyak digunakan pada nlp. Default task untuk model bahasa adalah mempelajari kata berikutnya berdasarkan urutan sebelumnya.  BERT menambahkan dua task tambahan mengandalkan pada label yang dibuat atau digenerate sendiri.

Link berikut ini adalah daftar beberapa paper tentang self-supervised learning. Tulisan ini gak membahas tentang language modeling atau generative modeling.

Kenapa SSL?

Self-supervised learning (SSL) memungkinkan kita untuk mengeksploitasi berbagai label yang ada pada data secara gratis. Alasannya digunakannya SSL adalah karena mendapatkan label adalah mahal, sementara data tanpa label tersedia banyak. Untuk menggunakan data ini, salah satu caranya adalah menentukan “learning objective” yang sesuai untuk mendapatkan supervision dari data tersebut.

Self-supervised task, dinamakan juga pretext task, membawa ke fungsi loss supervised. Namun performa task ini belum baik. Yang diharapkan adalah representasi intermediate dapat memberikan semantik atau struktur yang berarti dan dapat digunakan untuk berbagai downstream task.

Contohnya kita dapat melakukan rotasi gambar secara random dan melatih sebuah model untuk memprediksi bagaimana rotasi gambar tersebut. Prediksi rotasi dirancang sehingga akurasi tidak penting, seperti kita memperlakukan task tambahan, Tapi kita mengharapkan model untuk dapat mempelajari variabel laten dengan kualitas tinggi untuk task sebenarnya, seperti untuk klasifikasi pengenalan objek dengan jumlah label sedikit.

Secara umum semua model generatif dapat dimasukan sebagai self-supervised, tapi dengan tujuan yang berbeda: Model generativ fokus pada membuat gambar yang berbeda dan realistik, sementara self-supervised lebih peduli terhadap menghasilkan fitur yang baik yang dapat digunakan untuk berbagai task. Tentang model generative bisa dipelajari pada tulisan  berikut. Sampai disini dulu, besok akan saya lanjutkan tentang representasi image, insyaAllah.

Referensi:

https://lilianweng.github.io/lil-log/2019/11/10/self-supervised-learning.html

Tulisan ini merupakan lanjutan pembahasan tentang SSL. Pada tulisan sebelumnya telah diterangkan tentang kesulitan penerapan SSL pada komputer vision, salah satu ide untuk mengatasi permasalahan tersebut adalah dengan arsitektur prediksi latent-variable.

Model prediksi latent-variable memiliki variabel input tambahan (z). Disebut latent karena nilainya tidak pernah diamati. Dengan model yang terlatih dengan baik, variabel laten bervariasi pada set yang diberikan, prediksi output bervariasi diatas set prediksi yang mungkin dan kompatibel dengan input x.

Model variabel laten dapat dilatih dengan metoda contrastive. Contoh yang baik adalah GAN (generative adversarial network). Kritik (atau diskriminator) dapat dilihat sebagai menghitung sebuah energi yang menunjukan apakah input y terlihat baik. Jaringain generator dilatih untuk menghasilkan contoh contrastiv untuk mengasosiasikan energi tinggi.

Tapi metode contrastive memiliki maslaah besar yaitu: tidak efisien untuk dilatih. Pada ruang dimensi besar seperti gambar, ada banyak cara satu gambar berbeda dengan gambar yang lain. Menemukan satu set gambar contrastive yang mencakup semua cara mereka dapat berbeda adalah mustahil. Mengutip karya Leo Tolstoy Anna Karenina: semua keluarga bahagia adalah sama; namun setiap keluarga yang tidak bahagia memiliki masalahnya sendiri. Hal ini berlaku juga untuk semua obyek dengan dimensi tinggi.

Bagaimana jika mungkin untuk memastikan energi pasangan yang tidak kompatibel lebih tinggi daripada pasangan yang kompatibel, tanpa secara eksplisit mendorong energi dari banyak pasangan yang tidak kompatibel

Pada gambar diatas terlihat contoh arsitektur prediktif variabel laten. Dari pengamatan x, model harus dapat menghasilkan sebuah set beberapa prediksi yang kompatibel, dilambangkan dengan pita berbentuk S pada diagram. Karena variabel laten z dalam satu set bervariasi, dilambangkan dengan sebuah kotak abu-abu, output bervariasi atas set prediksi yang mungkin.

Sampai disini dulu, besok insyaallah saya lanjutkan dengan SSL non-contrastive energy based. Semoga bermanfaat!

referensi:

https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/

Pada tulisan sebelumnya telah dibahas bahwa ada 2 metode untuk mencegah collapse yaitu metode contrastive dan regularization. Collapse terjadi bila energi yang dihasilkan pada kasus x dan y tidak match tidak lebih besar bila dibandingkan pada kasus x dan y match.

Metode contrastive

Metode Contrastive dibangun berdasarkan ide sederhana untuk membangun pasangan x dan y yang tidak kompatible, dan menyesuaikan parameter dari model sehingga energi output adalah besar.

Pada gambar diatas terlihat melakukan training EBM dengan metode contrastive terdiri dari menurunkan energi dari pasangan compatible (x,y) secara simultan dari training set, di gambar yang berwarna biru, dan menaikan energi dari pasangan (x,y) yang dipilih dan tidak compatible, dilambangkan dengan titik hijau. Dalam contoh sederhana ini, x dan y adalah skalar, tapi dalam realitanya, x dan y bisa berupa image atau video dengan jutaan dimensi. Menghasilkan pasangan yang tidak kompatibel yang akan membentuk energi dengan cara yang sesuai adalah tidak mudah dan membutuhkan komputasi besar.

Metode yang digunakan untuk melakukan training pada sistem NLP dengan menutupi (masking) atau mengganti beberapa kata input termasuk dalam kategori contrastive method. Namun tidak menggunakan arsitektur joint embedding. Sebaliknya mereka menggunakan arsitektur prediktif dimana model secara langsung menghasilkan prediksi untuk y. Caranya dengan memulai keseluruhan segment untuk tex y, dan kemudian merusaknya (corrupt), misalnya dengan menutupi beberapa kata untuk menghasilkan pengamatan x. Input yang korup dimasukan ke sebuah neural network yang besar yang dilatih untuk mereproduksi teks asli y. Teks yang tidak korup akan direkonstruksi sebagai dirinya sendiri (kesalahan rekonstruksi rendah), sedangkan teks yang rusak akan direkonstruksi sebagai versi dirinya sendiri yang tidak rusak (kesalahan rekonstruksi besar). Jika kita menerjemahkan eror rekonstruksi eror sebagai energi, ia akan memiliki properti yang diinginkan: energi rendah unutk teks bersih dan energi yang lebih tinggi untuk teks rusak (corrupt).

Teknik yang umum digunakan untuk melakukan training sebuah model untuk mengembalikan sebuah versi yang korup dari sebuah input disebut denoising auto-encoder. Bentuk awal dari ide ini berasal dari tahun 1980, tapi dipopulerkan pada tahun 2008 oleh Pascal Vincent dan koleganya di Universitas Montréal, kemudian diimplementasikan di NLP oleh Collobert dan Weston, dan dipoplerkan oleh BERT paper dari peneliti Google.

Arsitektur prediksi tipe ini dapat menghasilkan sebuah prediksi untuk sebuah input yang diberikan. Karena model harus dapat memprediksi beberapa hasil output yang mungkin, prediksinya bukan satu set kata tapi serangkaian skor untuk setiap kata pada kosakata untuk setiap lokasi kata yang hilang.

Tapi teknik ini tidak dapat digunakan untuk iamge, karena kita tidak dapat menghitung semua gambar yang mungkin. Masalah ini belum dapat diatasi. Ada beberapa ide yang telah diajukan, namun tidak belum membuahkan hasil sebaik arsitektur joint embedding. Salah satu ide yang menarik adalah arsitektur prediksi latent-variable.

Sampai disini dulu, tentang arsitektur prediksi latent-variable akan saya lanjutkan pada tulisan berikutnya insyaAllah. Semoga Bermanfaat!

Ada pandangan untuk menempatkan SSL dalam Framework terpadu model berbasis energi (energy-based model/EBM). EBM adalah sistem yang dapat dilatih dengan 2 input x dan y, dapat memberitahukan seberapa tidak cocok (kompatibel) keduanya. Contohnya x dapat berupa video klip pendek dan y adalah video klip yang diusulkan. Mesin dapat memberitahukan sejauh mana y adalah kelanjutan dari x. Untuk menentukan ketidakcocokan antara x dan y, mesin membuat sebuah parameter yang disebut energi. Bila energinya rendah, x dan y dianggap cocok, bila tinggi maka dianggap tidak cocok.

Melakukan training EBM dibagi menjadi 2 tahap:

1) Menampilkan contoh x dan y yang cocok dan melakukan training untuk menghasilkan energi yang rendah.

2) Mencari sebuah cara untuk memastikan bahwa pada sebuah nilai x tertentu, nilai tidak cocok dengan x dan menghasilkan energi yang tinggi dibandingkan nilai y yang cocok dengan x.

Bagian pertama adalah mudah, tapi bagian kedua lebih sulit.

Untuk image recognition, model kita mengambil dua gambar, x dan y sebagai input. Jika x dan y merupakan versi yang berbeda dari sebuah gambar yang sama, model dilatih untuk menghasilkan output dengan energi rendah. Contohnya x adalah gambar sebuah mobil dan y adalah foto dari mobil yang sama yang diambil dari lokasi yang sedikit berbeda pada waktu yang berbeda, sehingga gambar mobil di y bergeser, berputar, membesar, mengecil dan menampilkan warna serta bayangan yang berbeda dari mobil pada x.

Pada gambar diatas terlihat model berbasis energi (EBM) mengukur kesesuaian antara pengamatan x dan prediksi yang diusulkan y. Jika x dan y kompatibel, energinya kecil; jika mereka tidak kompatibel, energi adalah jumlah yang lebih besar.

Joint Embedding, Siamese Network

Arsitektur deep learning yang cocok untuk membandingkan dua input adalah siamese network atau arsitektur joint embedding. Idenya berasal dari paper Geoff Hinton’s lab dan Yann LeCun’s pada tahun1990s (disini dan disini) dan pertengahan tahun 2000s (disini, disini, dan disini). Arsitektur ini sempat diabaikan pada rentang waktu cukup lama, namun mulai banyak digunakan sejak tahun 2019.

Arsitektur joint embedding terdiri dari 2 jaringan yang identik. Sebuah jaringan diberi input x dan jaringan lain diberi intput y. Jaringan menghasilkan vektor output yang disebut embedding, yang merepresentasikan x dan y. Modul ketiga, bergabung dengan jaringan di awal (kepala) menghitung energi sebagai jarak antara dua vektor embedding. Ketika model ditunjukan versi lain (terdistorsi) dari sebuah gambar yang sama, parameter dari jaringan disesuaikan sehingga outputnya bergerak semakin mendekat. Hal ini untuk memastikan bahwa jaringan akan menghasilkan representasi yang identik (embedding) dari sebuah obyek, terlepas dari view tertentu dari obyek.

Kesulitannya adalah memastikan bahwa jaringan menghasilkan energi tinggi, contohnya vektor embedding berbeda, ketika x dan y adalalah gambar yang berbeda. Tanpa cara khusus untuk melakukannya, kedua jaringan dapat mengabaikan inputnya dan selalu menghasilkan output embedding yang identik. Fenomena ini disebut sebuah collapse. Ketika collapse terjadi, energi tidak lebihbesar daripada x dan y yang tidak sesuai (matching) daripada x dan y yang matching. ada 2 kategori teknik untuk menghindari collapse: contrastive method dan metode regularisasi.

Arsitektur Joint embedding. Fungsi C yang paling atas menghasilkan energi skalar yang mengukur jarak vektor representasi (embedding) yang dihasilkan daru dua jaringan identical twin yang memiliki parameter w yang sama. Ketika x dan y adalah versi yang sedikit berbeda dari gambar yang sama, sistem di train untuk menghasilkan sebuah energi yang rendah, yang memaksa model untuk menghasilkan vektor embeeding yang serupa untuk kedua gambar. Bagian tersulit adalah melatih model agar menghasilkan energi tinggi (contohnya embedding berbeda) untuk gambar yang berbeda.

Sampai disini dulu, pada tulisan berikutnya akan saya lanjutkan tentang metoda contrastive energy-based ssl. Semoga bermanfaat!

Tulisan ini lanjutan tulisan sebelumnya tentang self-supervised learning

Pada tulisan sebelumnya telah diceritakan tantangan penerapan SSL pada komputer vision adalah tentang pemodelan ketidakpastian. Untuk memahami tentang tantangan ini, kita perlu memahami prediksi dari ketidakpastian dan bagaimana dia dimodelkan di NLP dibandingkan dengan pada Vision. Di NLP, melakukan prediksi kata yang hilang melibatkan penghitungan skor prediksi pada setiap kata yang mungkin pada kosakata. Meskipun kosakata sendiri adalah besar, dan melakukan prediksi kata yang hilang melibatkan beberapa ketidakpastian, dimungkinkan untuk menghasilkan daftar dari kata-kata yang mungkin pada kosakata bersama dengan perkiraan munculnya kata tersebut pada lokasi yang kosong. Sistem mesin learning umumnya memperlakukan masalah ini sebagai masalah klasifikasi dan menghitung skor dari setiap output menggunakan layer besar yang dinamakan layer softmax. Layer ini melakukan transformasi skor kasar menjadi sebuah distribusi probabilitas dengan kata-kata. Dengan teknik ini ketidakpastian dari prediksi direpresentasikan dengan sebuah distribusi probabilitas dari semua keluaran yang mungkin, asalkan ada sejumlah kemungkinan output yang terbatas.

Sementara itu pada komputer vision, tugas yang dilakukan adalah melakukan prediksi frame yang hilang pada sebuah video, atau patch yang hilang pada sebuah gamnar atau segmen yang hilang pada sebuah sinyal suara. Task ini melibatkan prediksi obyek kontinu dengan dimensi tinggi dibandingkan output yang diskrit. Ada banyak sekali kemungkinan frame video yang mengikuti frame video yang diberikan. Tidak mungkin untuk merepresentasikan semua frame yang mungkin dan mengaitkan skor prediksinya. Faktanya kita tidak memiliki teknik untuk merepresentasikan distribusi probabilitas yang cocok untuk ruang kontinyu berdimensi tinggi seperti frame video. Implementasi SSL di Vision memang lebih rumit dibandingkan NLP.

Sampai disini dulu, besok insyaallah saya lanjutkan tentang framework metode SSL. Semoga bermanfaat!

referensi :

https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence

Tulisan ini adalah bagian kedua bahasan tentang Self Supervised Learning (SSL) dari blognya Yann Lecun dan Ishan Misra, bagian pertama bisa dilihat disini.

SSL mendapatkan supervisory signal (label output yang diinginkan) dari dataset, seringkali memanfaatkan struktur yang ditemukan pada data. Teknik SSL yang umum adalah untuk memprediksi bagian yang tidak teramati atau tersembunyi dari input dari bagian input yang diamati atau tidak tersembunyi. Contohnya pada NLP, kita bisa menyembunyikan bagian dari sebuah kalimat dan melakukan prediksi kata apa yang tersembunyi dari kata-kata yang ada. Dari sebuah fram video, kita juga dapat memprediksi frame sebelumnya maupun frame berikutnya. Karena SSL menggunakan struktur data itu sendiri, maka sinyal yang digunakan bisa beragam dari berbagai modal (misalnya video dan audio) dan dari berbagai dataset besar, tanpa mengandalkan label.

Karena supervisory signal memberi informasi ke SSL, istilah “Self-supervised learning” lebih cocok dibandingkan “unsupervised learning”. Unsupervised learning menunjukan proses learning tidak membutuhkan supervisi dari orang. SSL berbeda dengan unsupervised, karena membutuhkan feedback sinyal yang jauh lebih banyak dibandingkan supervised learning dan reinforcement learning.

SSL pada NLP

SSL telah berhasil digunakan pada NLP (natural language processing), dengan melatih model seperti BERT, RoBERTa, XLM-R, dll pada dataset besar yang belum memiliki label, kemudian menggunakan model ini pada task downstream. Model-model ini dilakukan pretraining pada fase self-supervised dan di tuning atau disesuaikan untuk task tertentu, seperti klasifikasi topik dari sebuah teks. Pada saat pretraining self-supervised, sistem ditunjukan sebuah teks pendek (biasanya sekitar 1000 kata) dimana beberapa kata telah ditutupi (masked) atau diganti. Sistem kemudian ditrain untuk melakukan prediksi kata yang telah ditutupi atau diganti. Sistem belajar untuk mencari representasi arti dari kata sehingga dapat mencari kata yang cocok, atau yang sesuai dengan konteks.

Mengisi bagian input yang hilang adalah task standar pada pretraining SSL. Untuk melengkapi sebuah kalimat seperti ” Seekor …… mengejar …. di savana (padang rumput)” sistem harus belajar bahwa singa maupun cheetah dapat mengejar kijang atau rusa, tapi kucing mengejar tikus di dapur, tidak di savana. Selama training, sistem belajar untuk mencari representasi arti dari kata-kata, peran sintatik dari kata-kata dan maksud dari seluruh teks.

Namun teknik ini tidak mudah diterapkan pada domain baru seperti komputer vision. Walaupun hasil awal cukup menjanjikan, SSL belum menghasilkan performa pada komputer vision seperti yang kita lihat pada NLP.

Alasan utamanya adalah lebih sulit untuk merepresentasikan ketidakpastian pada prediksi gambar dibandingkan pada kata-kata. Ketika kata yang hilang tidak bisa diprediksi secara tepat (apakah singa atau cheetah), sistem dapat menggunakan skor atau probabilitas untuk semua kemungkinan kata-kata dalam kosa kata: skor tinggi untuk singa, cheetah dan predator lainnya, dan memberikan nilai rendah pada kata-kata lain pada kosakata.

Melakukan training model pada skala ini membutuhkan sebuah arsitektur model yang efisien dari segi runtime dan memori, tanpa mengorbankan akurasi.

Untungnya, inovasi baru dari FAIR tentang desain arsitektur menghasilkan sebuah model keluarga baru yang disebut RegNets, yang sangat sesuai dengan kebutuhan ini. Model RegNet adalah ConvNet yang mampu meningkatkan skala data hingga miliaran atau bahkan triliunan parameter, dan dapat dioptimasi agar sesuai dengan runtime dan batasan memori yang berbeda.

Namun, kita belum tahu cara merepresentasikan ketidakpastian secara efisien ketika memprediksi frame yang hilang dalam video atau patch yang hilang pada gambar. Kami tidak dapat membuat daftar semua kemungkinan frame video dan mengaitkan skor ke masing-masing frame, karena jumlahnya tak terbatas. Sementara masalah ini telah membatasi peningkatan kinerja dari SSL dalam vision, teknik-teknik baru SSL seperti SwAV mulai mengalahkan rekor akurasi dalam tugas-tugas visi. Ini paling baik ditunjukkan oleh sistem SEER yang menggunakan jaringan konvolusi besar yang dilatih dengan miliaran data.

Sampai disini dulu, besok akan saya lanjutkan tentang pemodelan ketidak pastian, Semoga bermanfaat!