Inside the Lab Meta -embodiment robotik


Saya lanjutkan bahasan tentang webinar inside the lab yang diselenggarakan oleh Meta AI.

Joelle pineau

Presenter berikutnya adalah joelle. Dia cerita klo di AR modality data nambah ada movement, hand faces, body menjadi vektor data baru. Nanti bakal ada World model. Model ini gak cuman prediction, tapi juga model ini akan role membandingkan alternative aksi maupun intervensi yang dilakukan terhadap future.

World model yang dibangun ditrain tidak hanya dengan supervised, tapi juga self-supervised, continual learning, reinforcement learning, sehingga bisa membuat rencan dan melakukan reasoning. Implementasinya nanti diharapkan bisa untuk mempelajari pengetahun baru, membuat summary, sebagai asistan, memberi rekomendasi, maupun membuat konten baru.

Kemudian joelle cerita tentang embodiment robotics. Yaitu robot yang bisa bekerja di rumah atau kantor dan berinteraksi dengan orang. Selama ini robot masih belajar secara pasif, seperti anak kecil yang sedang nonton tv. Ke depannya AI harusnya bisa belajar secara lebih aktif. Melalui mengubah pilihan, trial eror, dan mengulangi lagi.

Agar robot bisa berinteraksi diperlukan pengembangan sensor sentuh. Contohnya riset yang dilakukan oleh CMU yaitu reskin. Reskin memiliki membrane yang bisa dibentuk2, dengan partikel magnetik yang tertanam. Ketika bentuknya diubah, magnetic fluixnya berubah. Sehingga menggunakan AI sehingga bisa dihitung lokasi kontak serta seberapa besar tenaga yang digunakan ketika melakukan tekanan.

Reskin menggunakan juga self supervised learning untuk melakukan kalibrasi sensor secara otomatis

Riset lainnya adalah digit tactile sensor, dia bisa ngukur tekanan kontak dari perubahan gambar yang oleh direkam kamera didalam sensor.

Dibandingkan sensor tactile lainnya, digit tactile sensor lebih murah, dan menyediakan ribuan titik kontak yang lebih banyak. Titik kontak ini bisa kita analogikan seperti pixel untuk sentuhan. Proyek ini juga di opensource. Ketika kita memiliki sensor yang tepat maka bisa dikembangkan teknik untuk memegang dengan lebih tepat, tanpa harus merusak obyek. Contohnya pada gambar berikut:

Robot disebelah kiri, kesulitan untuk mengangkat telur. Namun robot disebelah kanan dengan sensor sentuh, sangat mudah untuk mengangkat telur tersebut. Library untuk proyek ini telah diopensource pada library pytouch.

Library ini memiliki kemampuan untuk deteksi sentuhan, deteksi slip, mengetahui pose obyek dan augmentasi data. Teknologi ini digunakan juga untuk interaksi di VR. Meta mengembangkan teknologi habitat yang dapat mensimulasikan interaksi orang.robot dengan berbagai barang dirumah, dengan sekitar 8000 step pada 1 gpu. Contohnya proyek habitat 2.0 mempelajari interaksi seperti merapihkan rumah atau menyiapkan meja

Menurut Joelle masih ada gap besar antara dunia nyata dengan dunia Meta. Contohnya bagaimana melakukan simulasi bagaimana orang berinteraksi. Kita bisa lihat di video game, interaksi orang di video seringkali terlihat berbeda dengan dunia nyata.

Proyek lainnya adalah tentang story telling. Dimana kita bisa gambar sebuah karakter. Kemudian kita bisa gunakan teknik human figure detection, segmentasi, deteksi pose dan join placement, sehingga akhirnya kita bisa membuat animasi dari karakter tersebut. Karakter tersebut bisa kita buatkan animasinya agar bisa menggerakan tangannya, nari dll.

Keren ya, sampai disini dulu. Besok insyaAllah saya lanjutkan dengan presentar berikutnya!

videonya bisa dilihat disini:

https://fb.watch/bnRHNv_bMu/


Silahkan tuliskan tanggapan, kritik maupun saran